實驗環境搭建
模塊?:軟件包下載及環境搭建
步驟一:搭建docker、mappper環境:
①Linux下通過Docker直接下載,獲取指令:
docker pull witin/toolchain:v001.000.034
②Window環境,可以通過docker desktop來使用docker:
下載安裝Docker desktop(win10或以上):
通常需要更新WSL,下載鏈接如下,更新后需要重啟生效
舊版 WSL 的手動安裝步驟 | Microsoft Learn
3.Docker desktop 基本使用教程:
Docker-desktop(Docker桌面版)——入門篇_dockerdesktop干嘛用的-CSDN博客
4.Docker desktop通常默認安裝在c:Program Filedocker,可以通過軟連接的形式修改Docker安裝路徑:
如何將Docker(Windows桌面版)自定義安裝目錄_自定義docker安裝路徑-CSDN博客
5.在Docker desktop里,可以通過搜索獲得witin_toolchain,我們需要的是034版本(ps:Hub反應慢可以開VPN獲取,或者使用鏡像路徑,具體操作方式見3鏈接)
6.測試:
①:管理員模式下打開命令行窗口
docker run -it --name XXXX witin/toolchain:v001.000.034
②:默認進入workspace目錄下,可以進入witin_mapper下執行測試腳本:
cd witin_mapper
tests/python/frontend/onnx/witin/wtm2101/precision/XXXX.py
③:使用exit退出,再次進入可按如下操作:
④:通過docker ps -a獲取容器id,然后打開進入容器
步驟二:搭建IDE環境
①預先下載安裝包,下載安裝
②默認安裝路徑,直接點擊安裝
③從主菜單的File->Open…菜單,或者點擊工具欄的按鈕,打開選擇文件對話框,選擇要打開的項目文件,即***.wmproject文件即可,點擊【打開】按鈕即可打開工程。如下圖所示。
步驟三:其他需要安裝的軟件
① 請確保安裝以下環境:python, git, pytorch
步驟四:下載訓練數據
① 最新數據集在軟件安裝包中
工程軟件安裝包:https://download.csdn.net/download/m0_58966968/88602575
實驗環境安裝包:https://download.csdn.net/download/m0_58966968/88602555
動?實驗: 簡單語音識別系統開發
模塊?:簡介
WTMDK2101-X3介紹
WTMDK2101-X3是針對WTM2101 AI SOC設計的評估板,包含:
(1)WTM2101核心板,即我們的存算芯片。
(2)和I/O 板:WTM2101運行需要的電源、以及應用I/O接口等.
核心板示意圖
WTMDK2101-X3 I/O 板示意圖
2, AISHELL-WakeUp-1數據集介紹
AISHELL-WakeUp-1數據集是中英文喚醒詞語音數據庫,命令詞為“你好,米雅” “hi, mia”,語音數據庫中喚醒詞語音3936003條,1561.12小時,邀請254名發言人參與錄制。錄制過程在真實家居環境中,設置7個錄音位,使用6個圓形16路PDM麥克風陣列錄音板做遠講拾音(16kHz,16bit)、1個高保真麥克風做近講拾音(44.1kHz,16bit)。此數據庫可用于聲紋識別、語音喚醒識別等研究使用。
本demo以該數據集為例,用不同網絡結構展示模型訓練及移植過程。
模塊?:搭建算法訓練工程,完成算法訓練與量化
模型訓練工程搭建:
本demo提供DNN和DNN_DEEP兩種網絡結構的示例,網絡結構如下,本教程以DNN為例。
DNN
步驟一:配置python/config.py,參數釋義見代碼注釋。
步驟二:運行python/train.py,模型訓練完畢后,在models/net_type文件夾下生成bestModel.pth,此即我們的模型權重。
步驟三:運行python/onnx_converter.py,在models/net_type文件夾下生成bestModel.onnx。此步驟即完成原始模型到知存onnx格式模型的轉換。
模塊三:算法模型轉換
1,Dcoker下Mapper轉換流程
步驟一:拷貝至指定文件夾
我們將mapper/input 拷貝至witin/toolchain:v001.000.034的指定文件夾下(通常為/home,需與gen_mapper.py文件里描述一致)
步驟二:在workplacewitin_mapper下執行gen_mapper.py
docker start id
docker attach id
cd witin_mapper
python3 /home/mapper/input/gen_mapper.py
步驟三:在對應的output文件下獲得輸出
模塊四:算法模型燒寫
步驟一:系統連接:
進行模型燒錄和開發時,我們需要將JTAG,核心板,NPU燒寫板連接好,并打開開關,如系統連接示意圖所示。
步驟二:
系統連接示意圖
步驟三:跳線帽連接:
如跳線帽連接示意圖所示,按照紅框標注進行跳線連接。含義解釋:
跳線帽連接示意圖
步驟四:
使用project/ WitinProgramTool_WTM2101下的WitinProgramTool.exe進行模型權重燒寫。燒寫時的開發板接線請參考其他文檔。
步驟五:燒寫指令:
.WitinProgramTool.exe -m init
.WitinProgramTool.exe -m program -i XXXXmap.csv -k 2
其中XXXX為步驟2.(3)中生成的mapper/output/map
示例:
模塊五:算法模型在芯片運行推理
步驟一:
從官網下載知存IDE Witmem Studio。
步驟二:
生成的mapper/output/register.c放在project/Model,使用Witmem Studio打開project/Project/SES-RISCV/Demo.wmproject。
步驟三:Target->Download下載工程:
注:本demo所用為x3開發板,所用串口GPIO為16,17。若是其他開發板,請根據情況修改串口。
步驟四:
打開tools中的串口工具,設置波特率115200,查看準確率輸出
至此,我們完成了基于存內計算X3開發板的語音識別從訓練到部署全流程,本教程結束。
審核編輯 黃宇
-
芯片
+關注
關注
456文章
50955瀏覽量
424784 -
語音識別
+關注
關注
38文章
1742瀏覽量
112721 -
開發板
+關注
關注
25文章
5082瀏覽量
97709 -
算法模型
+關注
關注
0文章
7瀏覽量
6745 -
存內計算
+關注
關注
0文章
30瀏覽量
1387
發布評論請先 登錄
相關推薦
評論