描述

Xilinx 最近為其全新的 SoM（模塊上系統）芯片組系列發布了第一款開發板，即Kria KV260 Vision AI Starter 套件。它專為開發高級視覺人工智能應用程序而設計和構建，這些應用程序需要硬件加速，但不需要開發人員/工程師擁有復雜的硬件設計知識來從頭開始實現硬件加速。

我通常會帶著我得到的任何新的 Xilinx 開發板直接前往 Vivado。然而，Kria KV260 開發板開箱即用，以至于我什至沒有打開 Vivado，就讓 USB 網絡攝像頭正常工作，并將視頻流式傳輸回我的主機 PC，并成功使用人臉檢測 AI 應用程序識別任何進入框架的面孔。（要充分理解這一點，請在此處查看我在過去的項目中為使用 MicroZed 的網絡攝像頭付出了多少工作）。

Kria KV260 開發入門套件隨附安裝在基板上的 Kria SoM，其外圍設備包括 USB 3.0、以太網、HDMI、PMOD 等。它需要 12V 筒形插孔電源。如果您還沒有，可以在此處與購買入門套件一起購買。還需要 USB 或 MIPI 攝像頭，以及 micro-USB 電纜、以太網電纜和 microSD 卡。

建議使用 HDMI 電纜，但對于基本的智能相機應用程序不是必需的，因為可以選擇通過實時流協議通過有線以太網傳輸視頻饋送。Xilinx 還將所有這些物品捆綁在一個可選附件包中，如果您還沒有所有物品，可以與 Kria 一起購買。

使用 KV260 啟動套件映像加載 SD 卡

在Kria KV260 的入門門戶上，有一個鏈接可以專門下載KV260 的嵌入式 Linux 映像。我專門針對 KV260 板說，因為 Kria SoM 本身可以安裝在其他底板上，但 KV260 是 Kria SoM 與這個特定底板的組合。由于 Linux 中的設備樹期望在此基板上實時看到的大多數外圍設備，Linux 映像在具有不同基板的 Kria 上將無法正常工作。

下載 Linux 映像并使用 balenaEtcher 之類的映像工具將其編程到至少 16GB 大小的 10 類 SD 卡上。我在 Kria 的基本附件包中收到的 SD 卡是空白的，請注意那些也購買了基本附件包的人。

使用 balenaEtcher 之類的映像工具將 KV260 的 Linux 映像編程到 SD 卡上。

?

連接一切

對 SD 卡進行映像后，將其安裝在位于底板頂部的 SD 卡插槽中。連接微型 USB 電纜、以太網電纜和相機。我正在使用 Logitech Brio 網絡攝像頭，因此我將它連接到 KV260 上的四個 USB 3.0 端口之一。

有兩個選項可以查看來自連接到 KV260 的攝像機的視頻流：通過 HDMI 電纜在外接顯示器上，或在主機 PC 上使用能夠處理RTSP源的媒體播放器，例如通過以太網電纜處理VLC或ffplay . 我個人選擇通過以太網路由進行 RTSP 饋送，因為我的顯示器是 USB C 并且我不想使用適配器處理潛在的轉換問題，因為這仍然是驅動它的嵌入式 Linux 映像。

將微型 USB 連接到主機 PC，將以太網連接到路由器/調制解調器，但暫時斷開筒形插孔電源線。

打開 COM 端口和上電板

將 micro-USB 電纜連接到主機 PC 后，至少會出現兩個枚舉的串行端口。編號較低的 COM 端口是與 KV260 的 UART 相關聯的端口，用于連接選擇的串行終端（例如 TeraTerm、Putty、Serial 等）。

我個人有四個 COM 端口出現在我的計算機上（我在我的機器的 Mac OS 端運行），而編號第二低的一個最終是 KV260 的 UART。

使用波特率 115200 的串行終端打開 COM 端口，然后通過將電源連接到筒形插孔來打開 KV260。

?

第一次啟動 KV260 的 Linux 映像時，它會要求您設置自己的密碼。用戶名已設置為petalinux 。

連接到互聯網

隨著 Kria SoM 的推出，其他令人興奮的事情之一是 Xilinx 推出了第一個嵌入式應用商店。用于驅動帶有面部識別算法的 USB 網絡攝像頭的 Smart Camera 加速應用程序可在 Xilinx 的嵌入式應用商店免費獲得，并且 KV260 需要連接到互聯網才能下載。

將 KV260 連接到 Internet 的最簡單方法是將以太網電纜插入路由器/調制解調器，Linux 映像將使用 DHCP 為自己分配 IP 地址。

通過對google.com的簡單 ping 驗證互聯網連接

root@xilinx-k26-starterkit-2020_2:~# ping google.com

?

從 Xilinx 嵌入式應用商店下載智能相機應用

Xilinx 還開發了自己的平臺管理實用程序xmutil來處理加速的應用程序包/文件。因此，從 Embedded App Store 下載新應用程序到在 Linux 映像中將它們切換出來，大多數事情都是使用xmutil命令完成的。

查看 Xilinx 嵌入式應用商店中可用的加速應用列表（僅顯示免費應用，付費應用必須直接下載）。

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil getpkgs

?

目前，嵌入式應用商店提供三款免費的加速 AI 視覺應用。使用dnf命令下載并安裝 Smart Camera 加速應用程序。KV260 的 Linux 映像配置為使其鏡像已指向 Embedded App Store。

root@xilinx-k26-starterkit-2020_2:~# sudo dnf install packagegroup-kv260-smartcam.noarch

這部分可能需要幾分鐘，具體取決于您的互聯網速度。

?

加載智能相機加速應用

雖然可以安裝多個應用程序，但一次只能在 KV260 上運行一個加速應用程序。這是xmutil用來處理諸如檢查當前加載哪個應用程序以運行并將它們切換出來之類的事情的地方。

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil listapps

listapps選項顯示當前安裝在Kria上的所有應用程序，并顯示當前處于活動狀態的應用程序（即當前加載的應用程序）。

?

使用unloadapp選項卸載默認的 kv260-dp 應用程序：

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil unloadapp

并使用loadapp選項加載 Smart Camera 應用程序：

root@xilinx-k26-starterkit-2020_2:~# sudo xmutil loadapp kv260-smartcam

一旦顯示 Smart Camera 應用程序已成功加載的行出現，請按 Enter 以返回命令行。

應用加載成功后按回車鍵返回命令行。

?

運行智能相機加速應用程序

每個加速應用程序都有自己的一組命令來控制它，這些命令將在應用程序安裝和加載后可用。Smart Camera 應用程序由smartcam命令控制。

運行以有線以太網連接為目標的智能相機應用程序并指定網絡攝像頭的 USB 設備編號（如果通過 MIPI 連接器使用相機，則使用 --mipi 標志而不是 --usb 標志）。

root@xilinx-k26-starterkit-2020_2:~# sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target rtsp

在 --target 標志之后傳遞的 rtsp 選項告訴智能相機應用程序通過以太網電纜發送視頻饋送，如果您使用帶有 HDMI 電纜的外接顯示器，請傳遞 dp 和目標選項。

root@xilinx-k26-starterkit-2020_2:~# sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target dp

當使用以太網流式傳輸視頻源時，智能相機應用程序將通過 UART 回顯的第一件事是 RTSP 源的 IP 地址、端口號和通道名稱。

?

設置 VLC 以查看視頻流

要查看 RTSP 提要，我個人選擇使用 VLC 播放器。設置 VLC 播放器以查看流，方法是轉到文件>打開網絡...選中流輸出框：然后單擊其右側的設置...按鈕。

配置 feed 流并在本地顯示流（播放流時會自動彈出視頻 feed 窗口）。使用從 Smart Camera 應用程序輸出到 UART 的 IP 地址、端口號和通道名稱來配置 VLC 中的流，如下所示：

?

?

?

?

1 / 2 ? VLC 中 RTSP 源的配置設置。

?

通過從播放列表中選擇流并單擊播放按鈕來查看視頻流。有時我確實必須在視頻源窗口彈出之前單擊播放幾次，但一旦這樣做，它就會立即識別幀中的任何面孔。

下一步

讓 KV260 在攝像頭和 AI 視覺應用程序運行的情況下輕松啟動并運行，我感到非常興奮。我目前正計劃使用 KV260 使用實時網絡攝像頭項目重新訪問我的咖啡店數字菜單。我想看看我如何通過使用對象檢測來識別某些糕點何時用完并將它們從鏈接到二維碼的數字菜單中刪除來改進該項目。

?

?