描述

立體視覺是通過從稍微不同的角度比較兩個圖像來推斷深度。有許多局部和全局算法用于獲得實時立體深度圖。

然而，立體聲的計算要求會根據分辨率呈指數增長。在深入研究立體視覺的實現之前，需要一個立體相機設置！

本系列將記錄如何從頭開始構建立體相機設置。下一步將是嘗試立體算法

該項目將概述用于 ZYNQ FPGA SOC 的立體相機平臺的設計。ZC702 開發板將用作主 SOC，但該設計可以輕松移植到任何帶有 FMC 連接器的板上，該連接器為相機使用適當的電壓 CMOS 電平。項目的第一部分詳細介紹了立體平臺設置的硬件設計設置和 Vivado FPGA 設計

?

在這種情況下，通過將兩個圖像源保持在相同的基線，設計將大大簡化。

兩個相機的每個對應特征都應該在同一級別。這稱為整改。為了簡化整改過程，兩個攝像頭將并排放置。

硬件

本項目的硬件部分由一塊ZC702開發板、兩塊OV5640攝像頭和一塊Stereo FMC板組成。

ZC702

該開發板包含一個 ZYNQ7000 XC7020。它與 PYNQ 和 Zedboard 上使用的芯片組相同，因此可以很容易地將設計移植到這些開發板上。

ZC702開發板包含XC7020 FPGA SOC。該開發板具有兩個 LPC（低引腳數）FMC（FPGA 夾層卡）連接器，可將多個引腳引出到外部世界。

默認情況下，這些引腳設置為在 2.8V 邏輯電平下運行。

?

DVP OV5640 攝像機

對于這個項目，我選擇了 DVP 攝像機，因為它們很容易獲得。此設置允許測試立體聲算法。

立體聲 FMC 卡的原理圖如下所示。

?

?

立體聲 FMC 插入 ZC702 板的兩個 LPC FMC 母插座之一。它兼容 20 針和 22 針 DVP 攝像頭模塊，例如 OV5640、OV7670、OV2640 等。Raspberry PI 攝像頭 V1 包含一個配置有 MIPI-CSI 接口的 OV5640 傳感器。

?

?

。

?

。

?

?

?

?

VDMA

VDMA 配置為三緩沖模式。與使用單個緩沖區的情況不同，這有助于防止撕裂偽影。由于混合器 AXI4-Stream 數據總線的輸出長度為 24bit（每種顏色 8 位），因此流數據寬度配置為 24bits。行緩沖區寬度至少應為掃描線寬度的大小。在這種情況下，對于 1280x720p 分辨率，使用了 2048 的緩沖區深度。

?

。有趣的是，IP 使用的是第 4 版，但 SDK 驅動程序使用的是第 5 版。關于此 IP，有幾個重要的注意事項。它需要外部重置，用戶指南中沒有明確提及。

SDK 驅動程序也有點錯誤，因此必須修改底層 BSP 驅動程序才能獲得工作設置。

?

VTC 配置為生成模式，分辨率為 1280x720p。

HDMI流水線

第二個版本實現了使用板載 HDMI 解碼器的管道。在這種情況下，必須通過使用 RGB 到 YCbCr 色度 IP (RGB -> YUV444) 來實現色彩空間轉換，然后將色度分量從 YUV444 重新采樣到 YUV422。

攝像頭配置

該 FMC 的主要優點是您可以使用不同的 DVP 攝像頭（OV7670、OV2640、OV5640），甚至可以使用兩個具有 MIPI-CSI 接口的 Raspberry Pi V1 攝像頭。

作為圖像傳感器，使用了 OV5640 DVP 相機傳感器。主要原因是在通常的網站上可以找到幾乎開源的配置代碼。

由于攝像機使用 SCCB（I2C 的克隆）進行配置。要配置兩臺攝像機，通常一個會使用多路復用器。但是，此 FMC 卡使用為每個攝像機分配的單獨引腳。

時鐘同步

在立體設置中，同步是處理 DVP 圖像傳感器時出現的另一個問題。每個傳感器都有一個主時鐘 (XCLK)。這個時鐘決定了像素輸出時鐘，但對于這些相機的 VGA 分辨率，它通常在 24Mhz 左右。

為了避免 FPGA 上出現額外的同步問題，FMC 被配置為向兩個相機提供相同的 XCLK。如果不是這種情況，則必須使用 FIFO 并手動確定從一臺攝像機到另一臺攝像機的延遲時間。

該設計由 Vivado 框圖和 SDK (Vitis) 裸機固件組成。

?

?

利用率和時間

?

。。該設計用作在 FPGA 上實現立體聲算法的測試平臺。