1.1. 雙目視覺簡介

雙目視覺廣泛應用在機器人導航，精密工業測量、物體識別、虛擬現實、場景重建，勘測領域。

什么是雙目視覺？

雙目視覺是模擬人類視覺原理，使用計算機被動感知距離的方法。從兩個或者多個點觀察一個物體，獲取在不同視角下的圖像，根據圖像之間像素的匹配關系，通過三角測量原理計算出像素之間的偏移來獲取物體的三維信息。

得到了物體的景深信息，就可以計算出物體與相機之間的實際距離，物體3維大小，兩點之間實際距離。目前也有很多研究機構進行3維物體識別，來解決2D算法無法處理遮擋，姿態變化的問題，提高物體的識別率。

1.2. 算法一般流程

圖1 雙目視覺算法流程

1.2.1. 離線標定

標定的目的是獲取相機的內參（焦距，圖像中心，畸變系數等）和外參（R（旋轉）矩陣T（平移）矩陣，用于對其兩個相機）。目前比較常用的方法為張正友的棋盤格標定方法，Opencv和Matlab上均有實現。但是一般為了獲取更高的標定精度，采用工業級的（60*60格子）玻璃面板效果會更好。并且有人也建議使用Matlab，因為精度包括可視化效果會更好一些，并且Matlab的結果保存為xml，Opencv也可以直接讀入，但是步驟相對于Opencv的麻煩了一些。這是Matlab標定工具箱的連接：http://www.vision.caltech.edu/bouguetj/calib_doc/

步驟為：

（1）左攝像頭標定，獲取內外參數。

（2）右參數攝像頭標定獲取外參。

（3）雙目標定，獲取相機之間的平移旋轉關系。

圖2 Matlab雙目視覺標定

1.2.2. 雙目矯正

矯正的目的是得到的參考圖與目標圖之間，只存在X方向上的差異。提高視差計算的準確性。

矯正分為兩個步驟

l畸變矯正

圖3 畸變矯正

l將相機轉化為標準形式

圖4 轉換為標準形式

因為矯正部分，會對圖像所有點的位置進行重新計算，因而算法處理的分辨率越大耗時越大，而且一般需要實時處理兩張圖像。而且這種算法并行化強標準化程度較高，建議使用IVE進行硬化，類似Opencv中的加速模式，先得到映射Map，再并行化使用映射Map重新得到像素位置。Opencv中的矯正函數為cvStereoRectify。

1.2.3. 雙目匹配

雙目匹配是雙目深度估計的核心部分，發展了很多年，也有非常多的算法，主要目的是計算參考圖與目標圖之間像素的相對匹配關系，主要分為局部和非局部的算法。一般有下面幾個步驟。

l匹配誤差計算

l誤差集成

l視差圖計算/優化

l視差圖矯正

一般局部算法，使用固定大小或者非固定大小窗口，計算與之所在一行的最優匹配位置。如下圖為最簡單的局部方式，求一行最佳對應點位置，左右視圖X坐標位置差異為視差圖。為了增加噪聲，光照的魯棒性可以使用固定窗口進行匹配，也可以對圖像使用LBP變換之后再進行匹配。一般的匹配損失計算函數有：SAD,SSD,NCC等。一般采用最大視差也可以限制最大搜索范圍,也可以使用積分圖和Box Filter進行加速計算。目前效果較好的局部匹配算法為基于Guided Filter的使用Box Filter和積分圖的雙目匹配算法,局部算法易于并行化，計算速度快，但是對于紋理較少的區域效果不佳，一般對圖像分割，將圖像分為紋理豐富和紋理稀疏的區域，調整匹配窗大小，紋理稀疏使用小窗口，來提高匹配效果。

圖5 基于線性搜索的視差計算

非局部的匹配算法，將搜索視差的任務看做最小化一個確定的基于全部雙目匹配對的損失函數，求該損失函數的最小值即可得到最佳的視差關系，著重解決圖像中不確定區域的匹配問題，主要有動態規劃（Dynamic Programming），信任傳播（Blief Propagation），圖割算法（Graph Cut）。目前效果最好的也是圖割算法，Opencv中提供的圖割算法匹配耗時很大。

圖割算法主要是為了解決動態規劃算法不能融合水平和豎直方向連續性約束的問題，將匹配問題看成是利用這些約束在圖像中尋求最小割問題。

圖6 基于圖割（左），動態規劃（中），相關性計算（右）的效果。

因為考慮到全局能量最小化，非局部算法一般耗時較大，不太好使用硬件加速。但是對于遮擋，紋理稀疏的情況解決的較好。

得到了匹配點之后，一般通過左右視線一致性的方式，檢測和確定具有高置信度的匹配點。很類似前后向光流匹配的思想，只有通過左右視線一致性檢驗的點才認為是穩定匹配點。這樣也可以找出因為遮擋，噪聲，誤匹配得到的點。

那么我們如何得到視差和深度信息呢？

圖7 視差深度獲取示意

關于視差圖的后處理，一般采用中值濾波的方法，對當前點的灰度值使用鄰域像素的中值來代替，這種方法可以很好去除椒鹽噪聲。可以去除因為噪聲或者弱紋理匹配失敗的孤立點。

原文標題：雙目視覺及算法流程

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq