前言：

眺望電子T536 核心板集成高性能2TOPS NPU（神經網絡處理器），支持ONNX、TensorFlow 等主流框架模型（需轉換為 NBG 格式）。本文基于 Tina SDK Linux 系統(tǒng)，介紹 T536 NPU 的開發(fā)環(huán)境搭建、模型部署流程及入門示例，幫助開發(fā)工程師快速上手。

一、背景概述

T536處理器集成VeriSilicon（芯原微電子）VIPNano系列NPU IP，型號為 ：VIP9000NANODI_PLUS_PID0X1000003B。

VeriSilicon的Vivante VIP9000系列為需要實時和低功耗AI設備的市場提供可編程、可擴展和可擴展的解決方案，具有行業(yè)領先的能效（TOPS/W）和面積效率（mm2/W）。

VIP9000系列IP支持所有流行的深度學習框架，并通過量化、修剪和模型壓縮等優(yōu)化技術原生加速神經網絡模型。AI應用程序可以通過Vivante的ACUITYTM Tools SDK進行離線轉換，輕松完成移植。

二、開發(fā)環(huán)境部署

2.1環(huán)境要求

操作系統(tǒng)：Ubuntu 20.04 LTS虛擬機

環(huán)境依賴：Python3.6+、Docker、交叉編譯工具鏈

工具鏈：Acuity Toolkit（模型轉換）、VivanteIDE（仿真調試）

硬件平臺：眺望對照T536開發(fā)板（預裝Tina Linux系統(tǒng)）

2.2工具安裝

2.2.1 手動安裝Acuity Toolkit模型轉換工具

# 解壓工具包（以Ubuntu 20.04為例）tar xvf Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgzmv acuity-toolkit-binary-6.6.1 /opt/VeriSilicon/
# 安裝依賴cd /opt/VeriSilicon/acuity-toolkit-binary-6.6.1pip3 install -r requirements.txt
# 配置環(huán)境變量echo 'export ACUITY_PATH=/opt/VeriSilicon/acuity-toolkit-binary-6.6.1/bin' >> ~/.bashrcsource ~/.bashrc

注：Acuity Toolkit適配配置需根據T536的NPU型號選擇目標架構參數(shù)

2.2.2 Docker鏡像快速部署（推薦）

# 加載鏡像sudo docker load -i npu_Tool_docker_voxx.tar
# 啟動容器（映射工作目錄）sudo docker run -it --privileged \ -v /host/workspace:/container/workspace \ --name npu_t536_dev \ ubuntu-npu:v2.1 /bin/bash

三、模型部署流程（以YOLOV5為例）

3.1模型轉換與量化

①準備模型文件

提供固定輸入尺寸的ONNX模型（如yolov5s-sim.onnx，輸入尺寸1x3x640x640）。

配置文件：

定義通道均值與縮放系數(shù)（例：0.0 0.0 0.0 0.00392157）。

指定輸入輸出節(jié)點名稱。

②執(zhí)行轉換腳本

# 進入模型目錄cd ai-sdk/models/yolov5s-sim
# 導入ONNX模型./pegasus_import.sh yolov5s-sim --input-size 640x640 --outputs 350 498 646
# 量化（uint8）./pegasus_quantize.sh yolov5s-sim uint8 --dataset ./images/dataset.txt
# 導出NBG模型（T536平臺需指定型號 VIP9000NANODI_PLUS_PID0X1000003B）./pegasus_export_ovx_nbg.sh yolov5s-sim uint8 VIP9000NANODI_PLUS_PID0X1000003B ${VIV_SDK}

3.2編譯示例程序

#在SDK根目錄執(zhí)行以下命令make menuconfigAllwinner ???>Vision ???><*> ai?sdk?viplite........................... allwinner npu viplite framework ???>make ?j32
# 輸出路徑out/xxx/compile_dir/target/ai-sdk/yolov5/yolov5

3.3運行示例程序

把二進制文件 yolov5、測試圖片 dog_640_640.jpg 和模型文件yolov5s?sim_uint8.nb（整個 test目錄）推到板端，執(zhí)行以下命令：

./yolov5 yolov5s?sim_uint8.nb dog_640_640.jpg
VIPLite driver version=0x00010d00...detection num: 316: 82%, [111, 243, 256, 601], dog7: 69%, [390, 83, 576, 194], truck1: 45%, [83, 143, 468, 467], bicycl