描述

該項目使用ResNet50作為訓(xùn)練網(wǎng)絡(luò)，使用已經(jīng)標注關(guān)鍵點的手部圖像作為訓(xùn)練集，使用Pytorch作為訓(xùn)練模型的工具。然后通過 Xilinx 提供的 Vitis AI 工具對該模型進行量化、編譯和部署在 Xilinx KV260 Vision AI Starter Kit 中。該程序是對手部21個關(guān)鍵點的測試，測試圖像如下圖所示。

圖1 運行結(jié)果演示

?

?

1 關(guān)于 ResNet

ResNet 于 2015 年提出并因其“簡單實用”而在 ImageNet 競賽分類任務(wù)中獲得第一名，此后許多方法都建立在 ResNet50 或 ResNet101 上用于檢測、分割和識別。檢測、分割、識別等領(lǐng)域一直在使用ResNet。

?

2 數(shù)據(jù)集

該數(shù)據(jù)集包括網(wǎng)絡(luò)圖像和數(shù)據(jù)集<>，用于過濾一些動作重復(fù)低的圖像進行生產(chǎn)，有49、062個樣本。

感謝“Massive Multi-view 3D Hand Pose Dataset”數(shù)據(jù)集的貢獻者：Francisco Gomez-Donoso、Sergio Orts-Escolano 和 Miguel Cazorla。“海量多視圖 3D 手部姿勢數(shù)據(jù)集”。arXiv 電子版 1707.03742，2017 年 7 月。

?

3 培訓(xùn)

對于模型訓(xùn)練，我使用了上述公開可用的數(shù)據(jù)集。我通過 PyTorch 為 ResNet50 實現(xiàn)了網(wǎng)絡(luò)，并使用 RTX 3070Ti 作為 GPU 油門來獲取 PyTorch 模型（.pth 文件）。我準備了5張自己手上的照片來測試模型的訓(xùn)練，圖片如下圖所示。

?

?

?

?

?

1 / 4 ?圖 2 張開手

?

?

4 配置 Vitis AI

Vitis AI 庫是一組高級庫和 API，旨在使用 DPU 高效執(zhí)行 AI 推理。它使用 Vitis 運行時統(tǒng)一 API 構(gòu)建在 Vitis AI 運行時之上，以提供對 XRT 的完整支持。

Vitis AI 庫通過封裝大量高效、高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，提供易于使用且統(tǒng)一的界面。Vitis AI 庫讓您可以專注于開發(fā)自己的應(yīng)用程序，而不是底層硬件。

參考 Vitis AI 用戶指南（UG1414），我們可以在上位機上快速配置環(huán)境，如下圖所示。

圖 6 已配置的 Vitis AI

?

?

5 使用 Vitis AI 量化工具量化模型

Vitis AI 量詞當前支持 TensorFlow（1.x 和 2.x）、PyTorch 和 Caffe。由于我們使用的是 PyTorch，因此需要安裝 vai_q_pytorch。在這里使用 Docker 容器安裝它似乎更容易。請注意，在創(chuàng)建獨立的 Conda vai_q_pytorch 環(huán)境之前，我們需要進入 vitis-ai-pytorch 環(huán)境。使用以下命令進行安裝。

/opt/vitis_??ai/scripts/replace_pytorch.sh new_conda_env_name

?

圖 7 更新 vai_q_pytorch 環(huán)境

?

?

然后我們將 petalinux 固件燒錄到 Xilinx KV260 Vision AI 套件中包含的 SD 卡中（感謝 Xilinx 為參與者提供的硬件支持。雖然小 SD 卡的價格非常低，但足夠看到 Xilinx 正在考慮用戶的觀點）。確保沒有先連接USB數(shù)據(jù)線、以太網(wǎng)線、直流電源線。

在電腦上安裝 MobaXterm 軟件，新建一個串口通訊任務(wù)。插入USB數(shù)據(jù)線電腦會彈出兩個串口，我們選擇COM號小號作為USB通訊接口，波特率選擇115200建立連接。

插上直流電源后，我們可以從串口界面觀察petalinux的啟動過程。配置密碼后，我們使用命令“sudo addr show”來查看 IP 地址（見下文）。我們通過 MobaXterm 軟件與 KV260 建立 SSH 連接，用于以后的數(shù)據(jù)傳輸。

?

圖 8 查看 IP 地址

?

配置完成后，我們?yōu)?vai_q_pytorch 準備輸入文件。第一個文件是預(yù)訓(xùn)練的 PyTorch 模型，通常是 PTH 文件。第二個是包含浮點模型結(jié)構(gòu)定義的 Python 腳本。第三個是訓(xùn)練數(shù)據(jù)集的一個子集，包含 100 到 1000 張用于定量測試的圖像。三個文件準備好后，我們使用“--quant_mode calib”運行命令來量化模型。在運行期間，會跳過日志日志中顯示的損失和準確度。Vitis AI 編譯器的 xmodel 文件位于輸出目錄中。/量化結(jié)果。該文件可用于部署到 FPGA。

?

6編譯、部署和運行

對于 PyTorch，量化器 NNDCT 直接以 XIR 格式輸出量化模型。請使用vai_c_xir 編譯它。

vai_c_xir -x /PATH/TO/quantized.xmodel -a /PATH/TO/arch.json -o /OUTPUTPATH -n 網(wǎng)絡(luò)名

之后就可以部署模型來觀察實際檢測效果如圖9，盡情享受吧！

?

圖9，盡情享受吧！

?

?