作者：Stephen Evanczuk

在越來越多的嵌入式視覺應(yīng)用中，如機(jī)器視覺、安保、零售和機(jī)器人，人工智能 （AI） 在基于邊緣的智能攝像頭上的應(yīng)用已迅速獲得認(rèn)可。雖然可獲得機(jī)器學(xué)習(xí)（ML） 算法的迅速出現(xiàn)幫助迎來了人們對(duì) AI的這種興趣，但開發(fā)人員仍難以在滿足緊迫的項(xiàng)目時(shí)間表的同時(shí)，在保持低功耗的情況下為基于邊緣的應(yīng)用提供高性能。

更為復(fù)雜的是，由于應(yīng)用需求的快速變化和演化算法的持續(xù)改進(jìn)，即使是新部署的解決方案也會(huì)迅速成為次優(yōu)方案。

本文將介紹 Xilinx 提供的靈活系統(tǒng)級(jí)模塊 （SOM）解決方案，開發(fā)人員能用它來快速實(shí)現(xiàn)邊緣部署的智能攝像頭解決方案。文中展示了他們?nèi)绾文軌蚋菀椎卣{(diào)整這些解決方案，以應(yīng)對(duì)不斷變化的需求，而不影響對(duì)延時(shí)和功耗的關(guān)鍵要求。

加快視覺應(yīng)用的執(zhí)行

Xilinx 的 Kria K26 SOM 基于定制的 Zynq UltraScale+ 多處理器片上系統(tǒng)（MPSoC），提供了強(qiáng)大的嵌入式處理系統(tǒng)，其中包括一個(gè) 64 位四核 Arm Cortex-A53 應(yīng)用處理單元 （APU）、一個(gè) 32 位雙核 Arm?
Cortex?-R5F 實(shí)時(shí)處理單元 （RPU） 和一個(gè) Arm Mali-400MP2 3D 圖形處理單元 （GPU）。SOM 將 MPSoC 與四千兆字節(jié)的64 位寬雙倍數(shù)據(jù)速率 4 （DDR4） 存儲(chǔ)器和相關(guān)的存儲(chǔ)控制器以及多個(gè)非易失性存儲(chǔ)器 （NVM） 器件結(jié)合起來，包括 512 兆位 （Mb）的四路串行外設(shè)接口 （QSPI） 存儲(chǔ)器、16 千兆字節(jié) （GB） 的嵌入式多媒體卡 （eMMC） 存儲(chǔ)器和 64 千位 （Kb） 的電可擦除可編程只讀存儲(chǔ)器（EEPROM）（圖 1）。

圖 1：Xilinx 的 Kria K26 SOM 將定制的 Zynq UltraScale+ MPSoC 的廣泛處理能力與可信平臺(tái)模塊 2.0
（TPM2） 以及動(dòng)態(tài)和非易失性存儲(chǔ)器相結(jié)合。（圖片來源：Xilinx）

Xilinx 通過廣泛的可編程邏輯系統(tǒng)補(bǔ)充其處理和存儲(chǔ)器資產(chǎn)，該系統(tǒng)包括 256K 系統(tǒng)邏輯單元、234K 可配置邏輯塊 （CLB） 觸發(fā)器、117KCLB 查找表 （LUT），以及分布式隨機(jī)存取存儲(chǔ)器 （RAM）、塊 RAM 和 ultraRAM 塊等各種配置共計(jì) 26.6 兆位 （Mb）的存儲(chǔ)器。此外，可編程邏輯系統(tǒng)包括 1，248 個(gè)數(shù)字信號(hào)處理 （DSP） 片、四個(gè)收發(fā)器以及一個(gè) H.264 和 H.265 的視頻編解碼器，能夠支持多達(dá)32 個(gè)流的同時(shí)編/解碼，在 60 幀/秒 （fps） 的情況下總像素達(dá) 3840 x 2160。SOM 的兩個(gè) 240 針連接器通過用戶可配置的輸入/輸出（I/O） 提供對(duì)功能塊和外設(shè)的隨時(shí)訪問。

這種處理器內(nèi)核、存儲(chǔ)器和可編程邏輯的組合提供了獨(dú)特的靈活性和性能水平，克服了高速執(zhí)行 ML 算法所用 GPU 的主要缺點(diǎn)。不同于 GPU的固定數(shù)據(jù)流，開發(fā)人員可以重新配置 K26 SOM 數(shù)據(jù)路徑，以優(yōu)化吞吐量并減少延時(shí)。此外，K26 SOM 的架構(gòu)特別適合于處于不斷增加的 ML應(yīng)用核心的稀疏網(wǎng)絡(luò)。

K26 SOM 的可編程性還解決了存儲(chǔ)器瓶頸問題，這些瓶頸既增加功耗，又限制存儲(chǔ)器密集型應(yīng)用的性能，如使用 GPU、多核處理器甚至高級(jí) SoC的傳統(tǒng)架構(gòu)構(gòu)建的 ML。在使用這些傳統(tǒng)器件設(shè)計(jì)的任何應(yīng)用中，外部存儲(chǔ)器通常占系統(tǒng)功耗的 40% 左右，而處理器內(nèi)核和內(nèi)部存儲(chǔ)器通常各占 30%左右。相比之下，開發(fā)人員可以利用 K26 SOM 的內(nèi)部存儲(chǔ)器塊和可重構(gòu)性來實(shí)現(xiàn)幾乎不需要外部存儲(chǔ)器訪問的設(shè)計(jì)。因此，與傳統(tǒng)器件相比，性能提高，功耗降低（圖2）。

圖 2：雖然基于嵌入式 CPU 和典型 SoC 的系統(tǒng)需要多次以高功耗訪問存儲(chǔ)器來運(yùn)行其應(yīng)用，但基于Xilinx Kria的系統(tǒng)則采用高效視覺管道，其可設(shè)計(jì)為避免任何 DDR 訪問。（圖片來源：Xilinx）

除了高性能、低功耗和廣泛的可重構(gòu)性外，K26 SOM 有助于確保敏感應(yīng)用的智能攝像頭設(shè)計(jì)的安全性。除了 SOM 內(nèi)置 TPM 安全器件外，MPSoC還集成了一個(gè)專用配置安全單元 （CSU），支持安全啟動(dòng)、篡改監(jiān)控、安全密鑰存儲(chǔ)和加密硬件加速。CSU、內(nèi)部片上存儲(chǔ)器 （OCM）和安全密鑰存儲(chǔ)共同提供了安全基礎(chǔ)，以確保實(shí)現(xiàn)安全啟動(dòng)的硬件信任根和用于應(yīng)用執(zhí)行的可信平臺(tái)。

K26 SOM的廣泛功能為實(shí)施基于邊緣的苛刻應(yīng)用提供了強(qiáng)大的基礎(chǔ)。然而，每個(gè)應(yīng)用都有自己的要求，即與一組特定應(yīng)用的外設(shè)和其他元器件相關(guān)的特性和功能。為了簡化特定應(yīng)用解決方案的實(shí)施，K26 SOM 可專門插入一個(gè)能承載其他外設(shè)的載卡中。Xilinx 通過其基于 Kria K26 的 KV260 視覺 AI 入門套件展示了這種方法。

入門套件簡化了視覺應(yīng)用的開發(fā)

Xilinx 的 KV260 視覺 AI 入門套件包括一個(gè)插入到以視覺為中心的載板的 K26 SOM，該套件提供了一個(gè)開箱即用的平臺(tái)，專門用于即時(shí)評(píng)估和快速開發(fā)智能視覺應(yīng)用。盡管 K26 SOM
提供了所需的處理能力，但入門套件的載板提供了電源管理，包括上電和復(fù)位定序，以及用于攝像頭、顯示器和 microSD 卡的接口選項(xiàng)和連接器（圖 3）。

圖 3：Xilinx 的 KV260 視覺 AI 入門套件使用插入到以視覺為中心的載板的 K26
SOM，提供了一個(gè)完整的智能視覺解決方案。（圖片來源：Xilinx）

除了多個(gè)接口外，載板還通過其 Raspberry Pi 連接器和一對(duì)圖像訪問系統(tǒng) （IAS） 連接器提供多攝像頭支持。其中一個(gè)連接器鏈接到一個(gè)專用
onsemi 1300 萬像素 AP1302 圖像傳感器處理器 （ISP），其能應(yīng)對(duì)所有圖像處理功能。

為了進(jìn)一步加快實(shí)現(xiàn)基于視覺的應(yīng)用，Xilinx
通過各種預(yù)置加速視覺應(yīng)用以及一套全面的軟件工具和庫（以便進(jìn)行定制開發(fā)），來支持這種預(yù)定義的視覺硬件平臺(tái)。

加速應(yīng)用提供即時(shí)解決方案

為了即時(shí)評(píng)估和快速開發(fā)加速視覺應(yīng)用，Xilinx
提供了幾個(gè)預(yù)置應(yīng)用，其中演示了幾個(gè)流行用例的執(zhí)行，包括使用其可編程邏輯的智能攝像頭人臉檢測(cè)、行人識(shí)別和跟蹤、缺陷檢測(cè)以及使用 MPSoC
處理系統(tǒng)的成對(duì)關(guān)鍵字識(shí)別。在 Xilinx Kria
應(yīng)用商店中，每個(gè)應(yīng)用都為其特定用例提供了完整的解決方案，并配有相應(yīng)的工具和資源。例如，智能攝像頭人臉檢測(cè)應(yīng)用使用 KV260 載卡的內(nèi)置 AR1335
圖像傳感器和 AP1302 ISP 來采集圖像，并由載卡的 HDMI 或 DisplayPort （DP） 輸出來渲染結(jié)果。對(duì)于人臉檢測(cè)處理，應(yīng)用配置了 K26
SOM，以提供視覺管道加速器和預(yù)置的機(jī)器學(xué)習(xí)推理引擎，用于人臉檢測(cè)、人員計(jì)數(shù)和其他智能攝像頭應(yīng)用（圖 4）。

圖 4：預(yù)置的加速應(yīng)用可從 Xilinx Kria 應(yīng)用商店下載，可在 KV260入門套件上立即運(yùn)行，為人臉檢測(cè)等視覺使用模型提供完整的解決方案。（圖片來源：Xilinx）

來自 Xilinx 應(yīng)用商店的預(yù)置加速應(yīng)用提供完整的實(shí)施和支持，讓開發(fā)人員能夠在一小時(shí)內(nèi)完成設(shè)計(jì)并運(yùn)行，即使缺乏 FPGA經(jīng)驗(yàn)也沒問題。評(píng)估應(yīng)用時(shí)，他們可以使用所提供的軟件堆棧來修改功能，以探索替代解決方案。對(duì)于更廣泛的定制開發(fā)，Xilinx 提供了一套全面的開發(fā)工具和庫。

AI 開發(fā)環(huán)境和工具加速定制開發(fā)

對(duì)于基于 AI 應(yīng)用的定制開發(fā)，Xilinx 的 Vitis AI開發(fā)環(huán)境提供了優(yōu)化的工具、庫和預(yù)先訓(xùn)練的模型，可用作更專業(yè)的定制模型的基礎(chǔ)。對(duì)于運(yùn)行時(shí)操作環(huán)境，Xilinx 基于 Yocto 的 PetaLinux 嵌入式Linux 軟件開發(fā)套件 （SDK） 提供了構(gòu)建、開發(fā)、測(cè)試和部署嵌入式 Linux 系統(tǒng)所需的全套功能。

Vitis AI 環(huán)境針對(duì)沒有 FPGA 經(jīng)驗(yàn)的專家和開發(fā)人員而設(shè)計(jì)，將底層硅硬件的細(xì)節(jié)抽象化，讓開發(fā)人員能夠?qū)Ｗ⒂诮⒏行У?ML模型。事實(shí)上，Vitis AI 環(huán)境與開源 Apache Tensor 虛擬機(jī) （TVM）深度學(xué)習(xí)編譯器堆棧集成，讓開發(fā)人員能夠?qū)⑺麄兊哪Ｐ蛷牟煌目蚣芫幾g到處理器、GPU 或加速器。開發(fā)人員使用帶有 TVM 的 Vitis AI，可以用加速視覺功能增強(qiáng)其現(xiàn)有設(shè)計(jì)，將深度學(xué)習(xí)模型等計(jì)算密集型視覺工作負(fù)載卸載到 Kria SOM。為了幫助開發(fā)人員進(jìn)一步優(yōu)化其深度學(xué)習(xí)模型，Xilinx的 AI 優(yōu)化工具可以對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行修剪，以降低每秒十億次運(yùn)算 （Gops） 數(shù)的復(fù)雜性，提高每秒幀數(shù) （fps），并減少過度參數(shù)化的模型，其中將模型壓縮高達(dá)50 倍，而對(duì)平均精度 （mAP） 所代表的準(zhǔn)確性幾乎沒有影響（圖 5）。

圖 5：Xilinx Research 的一項(xiàng)案例研究表明，使用 Xilinx AI 優(yōu)化工具進(jìn)行幾次迭代修剪，就可以迅速降低神經(jīng)網(wǎng)絡(luò)在 Gops數(shù)上的復(fù)雜性，同時(shí)提高每秒幀數(shù)，而這一切對(duì)準(zhǔn)確性幾乎沒有影響。（圖片來源：Xilinx）

對(duì)于定制視覺應(yīng)用的實(shí)現(xiàn)，Xilinx 的開源 Vitis Vision 庫在 Xilinx 平臺(tái)上進(jìn)行了高性能和低資源利用的優(yōu)化，提供了一個(gè)基于OpenCV 的熟悉界面。在分析方面，Xilinx 的視頻分析 SDK 應(yīng)用框架幫助開發(fā)人員建立更有效的視覺和視頻分析管道，而不需要深厚的 FPGA知識(shí)。視頻分析 SDK 基于廣泛采用的開源 GStreamer 框架，開發(fā)人員可以用它快速創(chuàng)建自定義加速內(nèi)核，作為 GStreamer 插件集成到 SDK框架。

典型的嵌入式開發(fā)人員使用這些工具，無論是否有自定義加速內(nèi)核，都可以很容易地組裝自定義加速管道。

總結(jié)

計(jì)算密集型 ML算法使智能視覺技術(shù)能夠在邊緣運(yùn)行的多種應(yīng)用中使用，但要滿足基于邊緣的視覺系統(tǒng)的高性能、低功耗和適應(yīng)性的要求，開發(fā)人員面臨著多種挑戰(zhàn)。Xilinx 的 Kria K26 SOM 解決方案為加速高級(jí)算法提供了硬件基礎(chǔ)，同時(shí)又不超出嚴(yán)格的功耗預(yù)算。開發(fā)人員使用基于 Kria K26的入門套件和預(yù)置應(yīng)用，可以立即開始評(píng)估智能視覺應(yīng)用，并使用全面的開發(fā)環(huán)境來創(chuàng)建自定義邊緣設(shè)備解決方案。