描述

介紹

Edge AI Kit 使用雙攝像頭來實現深度感知或距離識別應用。

?

立體視覺應用程序檢測兩個攝像頭圖像中的人臉，然后計算每個攝像頭圖像中的 ROI（感興趣區域）之間的差異。此差異用于計算對象與相機的距離。

設置

根據此處的說明設置 Edge AI 套件。

您還可以在Edge AI Kit Linux 用戶手冊中找到更多詳細信息。

要使用 StereoVision 應用程序，您需要使用外部顯示器（隨附的 LVDS 觸摸屏或 HDMI 顯示器）。將鍵盤和鼠標連接到 Edge AI 套件。

圖像

該應用程序已經為您構建并包含在開箱即用的圖像中。如果您更愿意構建自己的版本，請查看項目為 Edge AI 套件構建支持 ML 的 Yocto 圖像（即將推出）。

從“參考設計”選項卡下的Avnet Boards頁面下載帶有應用程序的圖像。解壓縮它（您應該以 a.wic 圖像結尾）。

使用 Balena Etcher 或類似軟件將映像刷入 SD 卡。

相機校準

我們需要校準我們的相機以確保它們捕獲的圖像正確對齊。這個過程涉及從不同角度拍攝棋盤圖案，然后使用這些圖像計算相機參數。

棋盤在這里： https: //github.com/Avnet/stereovision-app/blob/main/documentation/Checkerboard-A4-25mm-8x6.pdf

圖像必須以 A4 格式打印。將它貼在堅硬的背襯上，例如卡片紙。如果背襯比棋盤略大，那么在您左右移動它時有空間可以抓住它是最簡單的。棋盤大小對于距離測量至關重要。如果您的電路板尺寸不一樣，您必須調整文件“calibration.cpp”中的相應變量并重建 Qt 應用程序。

有關相機校準的更多詳細信息，請參見使用 OpenCV 進行相機校準和使用 OpenCV 進行相機校準

運行應用程序

設置并啟動 Edge AI Kit 后，它應該會打開 Wayland Desktop。

在 Wayland 桌面上打開一個終端。輸入命令：

stereovision

這將打開 stereovision Qt 應用程序。

1. 選擇“開始”開始攝像頭串流。

如果出現錯誤，請運行命令“systemctl stop ap1302-stream 以確保攝像頭已停止，或執行第3.3.5 節中的故障排除步驟。

2. 選擇“拍照”拍攝校準照片。放置棋盤，使其在兩個相機的框架內。建議至少拍攝 8 張校準照片，棋盤位于任一相機框架的角落（但在兩個相機中始終完全在框架中）。

相機的內部和外部參數將保存在位于項目根目錄的“camera_data”文件夾中的“left.yml”、“right.yml”和“stereo.yml”文件中。注意：如果您編輯校準圖像的路徑或名稱，您需要調整文件“calibration.cpp”中的相應變量。

3. 選擇“校準”以校準應用程序。

?

?

?

?

1 / 2

?

4. 選擇“人臉檢測”開始檢測人臉。這也將選擇校正（例如，相機已根據棋盤進行校準）。您也可以在沒有人臉檢測的情況下運行校正來測試校準。

?

?

?

?

1 / 2 ?以米為單位的人臉檢測

?

申請詳情

人臉檢測模型是MediaPipe的TensorFlow Lite模型。，使用NNAPI 委托在 NPU 上加速。

視差計算是使用 OpenCV 完成的。遺憾的是，Avnet i.MX 8M Plus Edge AI 套件上集成的神經處理單元 (NPU) 提供的加速不支持 openCV 。

測量距離的過程包括兩個步驟：

1.人體檢測。

2. ROI（人體區域）的視差計算

該應用程序使用人工神經網絡檢測人臉，并使用 SURF 方法在立體圖像中選擇對應的人臉特征點。距離是根據特征點的差異計算的。

人體檢測

運行網絡所需的 tflite 模型文件位于應用程序代碼的“dnnData”文件夾中。您可以從 MediaPipe 查看最新的人臉檢測模型。

此應用程序支持兩種模式：“近距離”和“全范圍”，前者適用于距離相機 2 米以內的人臉，后者適用于距離相機 5 米以內的人臉。如果使用其他模型，請根據相應的描述文件如face_detection_full_range_common.pbtxt或Model card適配代碼中FaceOptions的參數。

了解神經網絡的邊界框輸出一文解釋了如何使用模型和設置人臉檢測參數。

視差計算

視差是指立體對的左右圖像中兩個對應點之間的距離。校正圖像（相機標定）中某個點的視差可用于計算該點在現實世界中的坐標。

?

校準后，一對特征點的兩個特征點在理論上具有相同的圖像 v 坐標。在這種情況下，視差是指左右圖像中兩個對應點之間的 u 坐標差異。一旦計算出差異，就可以計算現實世界中的 Z 坐標，因為其他參數可以在文件“camera_data/stereo.yml”中獲得。

左圖中檢測到的每張人臉都將與右圖中的人臉進行匹配。如果兩個面塊的寬度、高度和 v 坐標相同，則它們將被視為匹配。一旦面部匹配，將計算它們的視差以計算距離。

調整參數

可以調整以下參數以調整模型在不同條件下的準確性：

• ConfidenceThresh [0.01, 1.0] ：該變量定義人臉檢測的最小置信度。只有檢測到的置信度高于閾值的人臉才會被處理。
• FaceOverlapThresh [0.01, 1.0] : 為了提高精度，檢測到的重疊面將被視為一個面。該變量定義最大重疊。重疊超過閾值的兩個對象將被視為一個對象。
• Disparity_Y Thresh [0, 100] ：變量定義v方向視差差的閾值，用于人臉匹配。
• Width_Rel_Thresh [0.01, 1.0] ：變量定義人臉塊寬度相對偏差的閾值。0.1 表示如果高度差超過 10%，則左右框架中的人臉塊將不會相互匹配。
• Height_Rel_Thresh [0, 10] ：變量定義人臉塊高度相對偏差的閾值。0.1 表示如果高度差超過 10%，則左右框架中的人臉塊將不會相互匹配。
• SkipFrame [0, 20] : 為了加速計算，不是所有的幀都會被處理。如果變量設置為 4，則每 4 幀只處理一幀。