色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何優(yōu)雅地將Swin Transformer模型部署到AX650N Demo板上?

愛芯元智AXERA ? 來源:愛芯元智AXERA ? 2023-04-15 10:15 ? 次閱讀

01

背景

今年來以ChatGPT為代表的大模型的驚艷效果,讓AI行業(yè)迎來了新的動力。各種AIGC的應(yīng)用接踵而至。我們知道類似ChatGPT的大模型,其核心網(wǎng)絡(luò)結(jié)構(gòu)均基于Google 2017年的論文提出的Transformer的論文《Attention Is All You Need》。在計算機視覺建模一直由卷積神經(jīng)網(wǎng)絡(luò)(CNN)主導(dǎo),基于Transformer結(jié)構(gòu)的網(wǎng)絡(luò)模型長時間停留在各大頂會“刷榜”階段,真正大規(guī)模落地并不突出。直到ICCV 2021的最佳論文《Swin Transformer》才達到了準(zhǔn)確率和性能雙佳的效果。

但是到目前為止,類似Swin Transformer的視覺類Transformer網(wǎng)絡(luò)模型大多數(shù)還是部署在云端服務(wù)器上,原因是GPU對于MHA結(jié)構(gòu)計算支持更友好,反而邊緣側(cè)/端側(cè)AI芯片由于其DSA架構(gòu)限制,為了保證CNN結(jié)構(gòu)的模型效率更好,基本上對MHA結(jié)構(gòu)沒有過多性能優(yōu)化,甚至需要修改網(wǎng)絡(luò)結(jié)構(gòu)才能勉強部署。這也間接限制了算法工程師在邊緣計算應(yīng)用上進一步發(fā)揮Transformer網(wǎng)絡(luò)的想象力。

今年3月,愛芯元智發(fā)布了新一代產(chǎn)品AX650N,內(nèi)置了其自主研發(fā)的第三代神經(jīng)網(wǎng)絡(luò)單元,進一步提升了最新AI算法模型的部署能力,可幫助用戶在智慧城市,智慧教育,智能制造等領(lǐng)域發(fā)揮更大的價值。最近我通過正式渠道有幸拿到了一塊AX650N Demo板進行嘗鮮體驗。

本文的目的是簡單介紹基于AX650N Demo配套的新一代AI工具鏈如何優(yōu)雅地將Swin Transformer模型部署到AX650N Demo板上,希望能給算法工程師們在Transformer網(wǎng)路部署落地上提供一種新的思路和途徑。

02

Swin Transformer

b18a3090-daca-11ed-bfe3-dac502259ad0.png

The architecture of a Swin Transformer

目前Transformer應(yīng)用到圖像領(lǐng)域主要有兩大挑戰(zhàn):

視覺實體變化大,在不同場景下視覺Transformer性能未必很好;

圖像分辨率高,像素點多,Transformer基于全局自注意力的計算導(dǎo)致計算量較大。

2.1 原理

針對上述兩個問題,微軟在《Swin Transformer》的論文中提出了一種包含滑窗操作。其中滑窗操作包括不重疊的local window,和重疊的cross-window。將注意力計算限制在一個窗口中,一方面能引入CNN卷積操作的局部性,另一方面能節(jié)省計算量。在各大圖像任務(wù)上,Swin Transformer都具有很好的性能。

2.2 分析

相比常見CNN網(wǎng)絡(luò)模型,其實也就是新增了MHA(Multi Head Attention)的關(guān)鍵算子

LayerNormalization

Matmul

GELU

量化

LN、GELU、Matmul存在掉點風(fēng)險

計算效率

占比最大的計算操作由Conv變成Matmul,因此要求硬件平臺MatMul計算能力強

03

模型轉(zhuǎn)換

Pulsar2介紹

Pulsar2(暫定名)是我們的新一代AI工具鏈,在吸取上一代工具鏈Pulsar的優(yōu)秀行業(yè)經(jīng)驗和不足之處的反思后進行的重構(gòu),依然包含“模型轉(zhuǎn)換、離線量化、模型編譯、異構(gòu)調(diào)度”四合一功能,進一步強化的網(wǎng)絡(luò)模型快速、高效的部署需求。在針對第三NPU架構(gòu)進行了深度定制優(yōu)化的同時,也擴展了算子&模型支持的能力及范圍,對Transformer結(jié)構(gòu)的網(wǎng)絡(luò)也有較好的支持。

b1c17690-daca-11ed-bfe3-dac502259ad0.png

pulsar2 deploy pipeline

3.1 模型下載

從Swin Transformer的官方倉庫獲取模型,由于是基于PyTorch訓(xùn)練,導(dǎo)出的是原始的pth模型格式,而對于部署的同學(xué)而言,更喜歡使用ONNX模型進行后續(xù)的產(chǎn)品落地,為了方便測試,我們提供該模型的ONNX版本導(dǎo)出腳本,降低模型獲取門檻,便于之前不熟悉的同學(xué)直接掌握其中的關(guān)鍵操作。

import onnx
import torch
import requests
from onnxsim import simplify
from PIL import Image
from transformers import AutoFeatureExtractor, SwinForImageClassification


def download_swin_model(model_name):
  prefix = "microsoft"
  model_id = f"{prefix}/{model_name}" # google/vit-base-patch16-384


  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
  model = SwinForImageClassification.from_pretrained(model_id)
  inputs = feature_extractor(images=image, return_tensors="pt")
  outputs = model(**inputs)
  logits = outputs.logits
  # model predicts one of the 1000 ImageNet classes
  predicted_class_idx = logits.argmax(-1).item()
  print("Predicted class:", model.config.id2label[predicted_class_idx])


  # export
  model_path = f"{model_name}.onnx"
  torch.onnx.export(
    model,
    tuple(inputs.values()),
    f=model_path,
    do_constant_folding=True,
    opset_version=13,
    input_names=["input"],
    output_names=["output"]
  )


  # simplify
  model = onnx.load(model_path)
  model_simp, check = simplify(model)
  assert check, "Simplified ONNX model could not be validated"
  simp_path = f"{model_name}_sim.onnx"
  onnx.save(model_simp, simp_path)


def main():
  download_swin_model(model_name="swin-tiny-patch4-window7-224") # microsoft/swin-tiny-patch4-window7-224


if __name__ == "__main__":
  main()

3.2 模型編譯

Pulsar2為了提升用戶使用體驗,降低Pulsar客戶遷移的學(xué)習(xí)成本,基本上延續(xù)了原有風(fēng)格,包括Docker環(huán)境安裝、命令行指令、配置文件修改參數(shù)仿真功能等。同時針對編譯速度慢的痛點,進行了大幅度優(yōu)化,模型編譯的耗時相比第一代工具鏈平均降低了一個數(shù)量級(分鐘->秒)。

$ pulsar2 build --input model/swin-t.onnx --output_dir output --config config/swin-t.json --target_hardware=AX650
32 File(s) Loaded.
[10:22:36] AX Quantization Config Refine Pass Running ... Finished.
[10:22:36] AX Quantization Fusion Pass Running ...    Finished.
[10:22:36] AX Quantize Simplify Pass Running ...     Finished.
[10:22:36] AX Parameter Quantization Pass Running ...   Finished.
Calibration Progress(Phase 1): 100%|████████| 32/32 [00:08<00:00, ?3.92it/s]
Finished.
[10:22:45] AX Passive Parameter Quantization Running ... ?Finished.
[10:22:45] AX Parameter Baking Pass Running ... ? ? ? ? ? Finished.
[10:22:45] AX Refine Int Parameter pass Running ... ? ? ? Finished.
Network Quantization Finished.
quant.axmodel export success: output/quant/quant_axmodel.onnx
Building native ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:00:00
......
2023-04-13 10:23:07.109 | INFO ? ? | yasched.test_onepass1475 - max_cycle = 6689562
2023-04-13 10:23:25.765 | INFO ? ? | yamain.command.build832 - fuse 1 subgraph(s)

從編譯log中我們大致看出,計算圖優(yōu)化、PTQ量化、離線編譯總共耗時只需50秒。然后我們來看一下大家比較關(guān)心的MHA結(jié)構(gòu)變成了什么樣子:

b1e98f68-daca-11ed-bfe3-dac502259ad0.png

MHA ONNX原始結(jié)構(gòu)

b214ffc2-daca-11ed-bfe3-dac502259ad0.png

MHA由工具鏈進行圖優(yōu)化之后的quant.axmodel結(jié)構(gòu)

3.3 仿真運行

在這一代工具鏈,我們提供更方便的pulsar2-run-helper的插件,可以模擬NPU計算流程,方便提前獲得上板運行結(jié)果。(請大家記住仿真運行的結(jié)果,后續(xù)章節(jié)將與上板實際部署的推理結(jié)果進行比對)

python3 cli_classification.py --post_processing --axmodel_path models/swin-t.axmodel --intermediate_path sim_outputs/0
[I] The following are the predicted score index pair.
[I] 2.6688, 285
[I] 1.9528, 223
[I] 1.8877, 279
[I] 1.8877, 332
[I] 1.8226, 282

04

上板部署

AX650N Demo板的BSP上已經(jīng)預(yù)裝了NPU模型測試需要的工具

/root # sample_npu_classification -m swin-t.axmodel -i cat.jpg -r 100
--------------------------------------
model file : swin-t.axmodel
image file : cat.jpg
img_h, img_w : 224 224
--------------------------------------
Engine creating handle is done.
Engine creating context is done.
Engine get io info is done.
Engine alloc io is done.
Engine push input is done.
--------------------------------------
2.6688, 285
1.9528, 223
1.8877, 332
1.8877, 279
1.8226, 282
--------------------------------------
Repeat 100 times, avg time 8.64 ms, max_time 8.65 ms, min_time 8.64 ms
--------------------------------------

對比上一章節(jié)的仿真結(jié)果,完全一致。

4.1 算力分配

AX650N的10.8Tops@Int8的算力其實是可分配的,上述內(nèi)容中,按照默認的編譯選項,其實只發(fā)揮了一部分算力(3.6Tops@Int8)。我們來看看滿算力下的耗時表現(xiàn)如何呢?

/root # ax_run_model -m swin-t-npu3.axmodel -r 100
Run AxModel:
   model: swin-t-npu3.axmodel
    type: NPU3
    vnpu: Disable
  affinity: 0b001
   repeat: 100
   warmup: 1
   batch: 1
  tool ver: 1.0.0
 ------------------------------------------------------
 min =  3.769 ms  max =  3.805 ms  avg =  3.778 ms
 ------------------------------------------------------
/root #
/root # sample_npu_classification -m swin-t-npu3.axmodel -i cat.jpg -r 100
--------------------------------------
model file : swin-t-npu3.axmodel
image file : cat.jpg
img_h, img_w : 224 224
--------------------------------------
Engine creating handle is done.
Engine creating context is done.
Engine get io info is done.
Engine alloc io is done.
Engine push input is done.
--------------------------------------
2.6688, 285
1.9528, 223
1.8877, 332
1.8877, 279
1.8226, 282
--------------------------------------
Repeat 100 times, avg time 3.78 ms, max_time 3.79 ms, min_time 3.77 ms
--------------------------------------

05

性能統(tǒng)計

算力 耗時(ms) 幀率(fps)
3.6Tops@Int8 8.64 115
10.8Tops@Int8 3.77 265

NPU工具鏈的性能優(yōu)化是個長期堅持的過程,最新版本的性能數(shù)據(jù)會更優(yōu)秀。





審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4766

    瀏覽量

    129189
  • cnn
    cnn
    +關(guān)注

    關(guān)注

    3

    文章

    353

    瀏覽量

    22281
  • 卷積神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    4

    文章

    367

    瀏覽量

    11892
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1566

    瀏覽量

    7916

原文標(biāo)題:愛芯分享 | 基于AX650N部署Swin Transformer

文章出處:【微信號:愛芯元智AXERA,微信公眾號:愛芯元智AXERA】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    transformer專用ASIC芯片Sohu說明

    的舊圖像模型,也不能運行CNN、RNN或LSTM。 但對于transformer來說,Sohu是有史以來最快的芯片。 借助Llama 70B每秒超過50萬個token的吞吐量,Sohu可以讓您構(gòu)建在GPU無法實現(xiàn)的產(chǎn)品
    的頭像 發(fā)表于 01-06 09:13 ?206次閱讀
    <b class='flag-5'>transformer</b>專用ASIC芯片Sohu說明

    基于AX650N的M.2智能推理卡解決方案

    2024年是大模型在邊緣側(cè)&端側(cè)落地的第一年。從這一年開始,頭部手機廠商在自己的旗艦機型中內(nèi)置了3B以下的本地大模型,證明了3B以下大模型的商業(yè)落地可行性。
    的頭像 發(fā)表于 12-23 16:39 ?501次閱讀

    AI模型部署邊緣設(shè)備的奇妙之旅:目標(biāo)檢測模型

    并非易事,它涉及從選擇合適的算法架構(gòu)針對特定硬件平臺進行優(yōu)化等一系列復(fù)雜的工作。 接下來,我們詳細介紹如何在資源受限的邊緣設(shè)備上成功部署目標(biāo)檢測
    發(fā)表于 12-19 14:33

    Transformer模型能夠做什么

    盡管名為 Transformer,但它們不是電視銀幕的變形金剛,也不是電線桿垃圾桶大小的變壓器。
    的頭像 發(fā)表于 11-20 09:27 ?398次閱讀
    <b class='flag-5'>Transformer</b><b class='flag-5'>模型</b>能夠做什么

    基于AX650N/AX630C部署多模態(tài)大模型InternVL2-1B

    InternVL2是由上海人工智能實驗室OpenGVLab發(fā)布的一款多模態(tài)大模型,中文名稱為“書生·萬象”。該模型在多學(xué)科問答(MMMU)等任務(wù)上表現(xiàn)出色,并且具備處理多種模態(tài)數(shù)據(jù)的能力。
    的頭像 發(fā)表于 11-18 17:32 ?823次閱讀
    基于<b class='flag-5'>AX650N</b>/<b class='flag-5'>AX</b>630C<b class='flag-5'>部署</b>多模態(tài)大<b class='flag-5'>模型</b>InternVL2-1B

    基于AX650N芯片部署MiniCPM-V 2.0高效端側(cè)多模態(tài)大模型

    今年4月份,面壁智能&清華大學(xué)自然語言處理實驗室推出MiniCPM系列的最新多模態(tài)版本MiniCPM-V 2.0。該模型基于MiniCPM 2.4B和SigLip-400M構(gòu)建,共擁有
    的頭像 發(fā)表于 07-15 09:34 ?976次閱讀
    基于<b class='flag-5'>AX650N</b>芯片<b class='flag-5'>部署</b>MiniCPM-V 2.0高效端側(cè)多模態(tài)大<b class='flag-5'>模型</b>

    Transformer語言模型簡介與實現(xiàn)過程

    任務(wù),隨后迅速擴展其他NLP任務(wù)中,如文本生成、語言理解、問答系統(tǒng)等。本文詳細介紹Transformer語言模型的原理、特點、優(yōu)勢以及實現(xiàn)過程。
    的頭像 發(fā)表于 07-10 11:48 ?2004次閱讀

    llm模型本地部署有用嗎

    ,這些模型部署本地環(huán)境可能會帶來一些挑戰(zhàn)和優(yōu)勢。 1. LLM模型概述 大型語言模型(LLM
    的頭像 發(fā)表于 07-09 10:14 ?565次閱讀

    基于AX650N/AX630C部署端側(cè)大語言模型Qwen2

    本文分享如何最新的端側(cè)大語言模型部署超高性價比SoC,向業(yè)界對端側(cè)大
    的頭像 發(fā)表于 07-06 17:43 ?3679次閱讀
    基于<b class='flag-5'>AX650N</b>/<b class='flag-5'>AX</b>630C<b class='flag-5'>部署</b>端側(cè)大語言<b class='flag-5'>模型</b>Qwen2

    使用PyTorch搭建Transformer模型

    Transformer模型自其問世以來,在自然語言處理(NLP)領(lǐng)域取得了巨大的成功,并成為了許多先進模型(如BERT、GPT等)的基礎(chǔ)。本文深入解讀如何使用PyTorch框架搭建
    的頭像 發(fā)表于 07-02 11:41 ?1757次閱讀

    【大語言模型:原理與工程實踐】大語言模型的基礎(chǔ)技術(shù)

    之后,成為文本建模領(lǐng)域的熱門架構(gòu)。不僅如此,它還對自然語言處理領(lǐng)域產(chǎn)生了深遠的影響。基于Transformer的預(yù)訓(xùn)練模型,如GPT系列和BERT系列,已在多種任務(wù)取得了卓越的成績。目前的大型語言
    發(fā)表于 05-05 12:17

    愛芯元智AX620E和AX650系列芯片正式通過PSA Certified安全認證

    萬物互聯(lián)的時代,安全性已成為物聯(lián)網(wǎng)產(chǎn)品設(shè)計及部署的基本要求。近日,愛芯元智AX620E和AX650系列芯片(包含AX630C/AX620Q/
    的頭像 發(fā)表于 04-23 15:45 ?881次閱讀
    愛芯元智<b class='flag-5'>AX</b>620E和<b class='flag-5'>AX650</b>系列芯片正式通過PSA Certified安全認證

    基于AX650N/AX620Q部署YOLO-World

    目標(biāo)檢測是計算機視覺領(lǐng)域一項重要的任務(wù)。開集目標(biāo)檢測(Open-set Object Detection)與閉集目標(biāo)檢測(Closed-set Object Detection)是目標(biāo)檢測領(lǐng)域的兩個概念。
    的頭像 發(fā)表于 04-17 15:36 ?3852次閱讀
    基于<b class='flag-5'>AX650N</b>/<b class='flag-5'>AX</b>620Q<b class='flag-5'>部署</b>YOLO-World

    使用CUBEAI部署tflite模型STM32F0中,模型創(chuàng)建失敗怎么解決?

    看到CUBE_AI已經(jīng)支持STM32F0系列芯片,就想拿來入門嵌入式AI。 生成的模型很小,是可以部署F0的,但是一直無法創(chuàng)建成功。
    發(fā)表于 03-15 08:10

    基于Transformer模型的壓縮方法

    基于Transformer架構(gòu)的大型模型在人工智能領(lǐng)域中發(fā)揮著日益重要的作用,特別是在自然語言處理(NLP)和計算機視覺(CV)領(lǐng)域。
    的頭像 發(fā)表于 02-22 16:27 ?687次閱讀
    基于<b class='flag-5'>Transformer</b><b class='flag-5'>模型</b>的壓縮方法
    主站蜘蛛池模板: 亚洲精品高清中文字幕完整版| 久久国产精品免费A片蜜芽| 亚洲AV无码一区二区三区牛牛| 久久久无码精品亚洲日韩按摩| 大乳牛奶女magnet| 24小时日本在线观看片免费| 亚洲精品久久一区二区三区四区| 日本阿v片在线播放免费| 空姐内射出白浆10p| 国产品无码一区二区三区在线| jazzjazzjazz欧美| 在线AV国产传媒18精品免费| 午夜理论片YY4399影院| 人人射人人插| 能看的黄页最新网站| 久久才是精品亚洲国产| 国产啪精品视频网免费| 国产69TV精品久久久久99| yellow片在线观看免费观看动漫| 40岁东北老阿姨无码| 在线视频中文字幕| 亚洲色图激情小说| 亚洲AV久久久噜噜噜噜| 无码137片内射在线影院| 日韩高清特级特黄毛片| 欧美精品色视频| 欧美123区| 嗯呐啊唔高H兽交| 鲁大师影院在线视频在线观看| 午夜一区二区三区| 国产成人无码WWW免费视频在线| 欧美性暴力变态xxxx| 91麻豆精品一二三区在线| 久久国产香蕉视频| 一区二区三区无码高清视频| 黄色三级视频在线| 亚洲日本在线不卡二区 | 苍井空a 集在线观看网站| 男生插女生下体| 99久久免热在线观看6| 免费精品美女久久久久久久久久 |