本文將重點介紹單目方案的空間定位。

三、單目三維空間測量與定位要解決的問題

1、 求解原理和過程

如前文所述，單目三維空間測量與定位，是依據PnP原理來求解的。理論上講，如果可以獲取一個三維剛體上不共面的任意6個點在攝像機二維成像平面的投影位置，是可以唯一反解出來這個剛體在三維空間的唯一6DoF參數的。如果少于6個點，解就不一定唯一了。但在實踐中，由于剛體往往存在一些約束條件，因此，大多數情況下，如果能提取獲得剛體上4個不共面點的二維投影，一般就可以反解出剛體的6DoF。其求解的前提條件為：

求解過程如下：

在結算過程中，會遇到的關鍵技術環節和問題包括：環境噪聲點去除，光斑中心像素提取，二維和三維點匹配，6DoF計算迭代優化，以及多傳感器融合問題。

2、 環境噪聲點去除問題

在計算機視覺、圖像處理領域，最常見的一個問題，也往往是一個非常頭疼的問題就是環境噪聲。所有圖像處理的問題，都會面臨：光照是否足夠，太陽光、日光燈、白熾燈、鹵素燈（展會往往會有）等各種燈的紅外分量、可見光分量的干擾和影響。解決環境噪聲的手段包括：1）使用主動光源，這樣可以有效的減少白天、黑夜所帶來的影響，一般使用的主動光源時，會使用紅外光源；2）使用濾波片，特別是窄帶濾波片。在使用主動光源時，往往會配合使用濾波片，將不需要的光學成分去除，最常見的，例如第一代Kinect中，其發光為波長828nm的紅外光，因此，其使用了828±15nm的窄帶濾波片。這是抗干擾手段中性價比最高的方法。3）使用主動調制光源。如果前面兩種措施還不能有效抑制干擾（最常見的情況是在室外或者室內使用，但有陽光射入），這就可能要使用帶調制信息的主動光源了，CMOS Sensor在接收到光線信號后，算法可以將陽光等不帶調制信息的光線信號給濾除。雖然，使用調制光源可以進一步抑制干擾，但其往往也有副作用，例如增大處理器運算工作量，降低幀率。

3、 光斑中心像素提取精度問題

利用計算機視覺的定位中，影響定位精度的其中一個最重要的因素就是光斑中心的提取精度。在實際應用中，即便不考慮外界光線的影響，僅僅CMOS Sensor本身，也會對光斑成像帶來各種噪聲，包括：讀出噪聲、暗電流噪聲、固定模式噪聲等。理想情況下，光學系統能將光斑的平行光束投影到CMOS Sensor的一個或幾個像素點上，使其分布呈現中心某個或某幾個像素有均勻光線，而其余像素無光線的情況。但實際上，由于光學系統的成像誤差、衍射、以及CMOS Sensor噪聲的存在，使得成像結果往往會呈現以某個像素為中心的光強正態分布情況。為提高光斑中心像素提取精度，硬件上的做法是通過提高攝像機的分辨率來實現更高精度的圖像提取，但這樣也會相應的增加硬件成本。而且，隨著分辨率的增加，運算量也成幾何倍數的增長，這也會帶來處理器的性能增長需求，這將極大的增加整體成本。另外，在算法層面，采用一些傳統的灰度質心提取算法，其一般做法是通過對圖像二值化預處理然后使用連通域提取，對光斑的質心進行求解，這在目標距離攝像機較近，光斑亮度比較均勻的情況下，傳統方法提取的質心精度效果比較好，然而實際情況中，光斑的亮度分布往往不是非常均勻，尤其在距離較遠的情況下，亮度的均勻性和大小都將快速衰減，使得質心質心精確性大幅下降。其中改進的方法包括對連通域范圍先進行致密上采樣 隨后對上采樣范圍的像素亮度進行加權求解質心，這種方法在效果上可以達到較高的亞亞像素精度，然而犧牲了較多的運算效率。但如果我們對算法進行一些改進，是可以將提取精度提高到亞亞像素級的。歡創科技在這一點上進行了比較深入的研究，從光斑成像的角度入手，對光斑亮度的衰減過程進行分析，從而總結出了一種預處理方式，使得質心提取精度在維持亞亞像素精度的情況下，不犧牲任何運算效率。

4、 二維和點匹配問題

對于單目的姿態求解， PnP原理是求解的基礎，然而PnP求解的前提是空間中的3D坐標和相機投影的2D像素間的對應關系已知，在匹配未知的情況下，求解PnP 問題變得比較復雜，在計算機視覺領域，這個問題又叫做即時姿態和匹配求解問題（Simultaneous Pose and Correspondence Problem），針對這個問題比較常見的算法有softPOSIT，BlindPnP等，這些方法都采用的迭代求解的思想，將姿態求解和匹配歸結為優化問題，交替求解當前最優姿態以及最優匹配，相對于softPOSIT，BlindPnP加入一些先驗姿態信息，并且將高斯混合模型應用于3D-2D匹配， 在某些案例中可以達到較精確的效果，然而這些方法的通病就是無法確保結果是全局最優的，由于求解的空間復雜，因此有不收斂或收斂到局部最優的可能，導致求解失敗。因此一些基于Branch-and-Bound以及Bundle Adjustment全局求解的思想框架逐漸運用到了這個問題上來，并且獲得了不錯的結果。總的說來，3D-2D的匹配和姿態求解密不可分，匹配算法的魯棒性和效率直接決定了姿態求解的性能，也是所有基于視覺的空間定位系統至關重要的環節。

5、 相機運動情況下與IMU傳感器融合的問題

早在慣性測量單元（IMU）還未大規模普及的時代，SLAM 系統往往只依靠相機捕獲的圖像信息進行空間定位，由于圖像信息中的角點或Marker點是可以直接約束相機的姿態和位置的， 因此純視覺輸入可以保證SLAM系統在小范圍空間內的跟蹤結果不存在漂移。然而純視覺定位的局限在于其幀率往往不是很高，而且圖像運算復雜，使得姿態求解不具有較高的動態性能。 而反過來，慣性測量單元具有極好的瞬時動態性，可以很好的彌補視覺系統的不足。因此，視基于覺和慣性單元融合的空間定位系統Vision-Inertial Navigation System（VINS） 便成為當前流行的SLAM系統最佳方案，在VR領域，這也是inside-out 定位系統的基礎。VINS的核心是利用卡爾曼濾波器對慣性單元的輸入進行預積分，將積分結果用于預測當前姿態下所有角點或Marker點在相機中的投影位置，接著通過相機捕獲到的角點或marker點坐標對預測姿態進行修正更新，整個預測和更新過程交替進行。當前市面流行的IMU輸出幀率可以達到1000幀，因此VINS可以以很高的幀率對當前姿態進行預測，同時以相對較低的圖像頻率對姿態進行更新修正，這樣可以同時保證定位系統的瞬時響應速度和長時間使用的準確性。

以上就是為大家帶來的單目空間定位的一些技術介紹，在后續，本專欄還會結合一些實際應用和產品再介紹和空間定位、測量相關的技術。