本文提出了一種新方法，通過使用點(diǎn)到平面匹配將VIO/VSLAM系統(tǒng)生成的稀疏3D點(diǎn)云與數(shù)字孿生體進(jìn)行對(duì)齊，從而實(shí)現(xiàn)精確且全球一致的定位，無需視覺數(shù)據(jù)關(guān)聯(lián)。所提方法為VIO/VSLAM系統(tǒng)提供了緊密集成的6自由度全局測(cè)量。在高保真GPS模擬器上進(jìn)行的實(shí)驗(yàn)以及從無人機(jī)收集的真實(shí)世界數(shù)據(jù)表明，我們的方法優(yōu)于最先進(jìn)的VIO-GPS系統(tǒng)，并且與最先進(jìn)的視覺SLAM系統(tǒng)相比，在應(yīng)對(duì)視點(diǎn)變化方面具有更出色的魯棒性。

01 本文核心內(nèi)容

在復(fù)雜環(huán)境中實(shí)現(xiàn)精確且全球一致的位姿估計(jì)對(duì)于諸如自動(dòng)駕駛車輛和無人機(jī)之類的自主系統(tǒng)，以及視障人士的輔助技術(shù)而言，是一項(xiàng)關(guān)鍵需求。相機(jī)和慣性測(cè)量單元（IMU）通常被用于解決位姿估計(jì)問題，這得益于它們成本低、設(shè)計(jì)輕巧以及具有互補(bǔ)的測(cè)量能力——相機(jī)能提供豐富但數(shù)據(jù)率低且依賴于環(huán)境的數(shù)據(jù)，而IMU可提供高數(shù)據(jù)率、低維度且不受環(huán)境影響的數(shù)據(jù)。視覺慣性里程計(jì)（VIO）和視覺SLAM算法融合相機(jī)和IMU的測(cè)量結(jié)果，并在局部坐標(biāo)系中輸出位姿估計(jì)值。局部坐標(biāo)系通常在算法初始化時(shí)被設(shè)定為單位位姿。由于相機(jī)和IMU提供的是局部測(cè)量，加之存在噪聲和建模簡(jiǎn)化，這些算法會(huì)隨時(shí)間累積漂移。

為了在全局固定坐標(biāo)系（例如，東-北-上（ENU）參考坐標(biāo)系）中獲取位姿估計(jì)值并減少漂移，會(huì)在位姿估計(jì)過程中納入全局測(cè)量。最常使用的全局測(cè)量是GPS。然而，GPS測(cè)量在室內(nèi)無法獲取，在城市峽谷等區(qū)域通常存在噪聲且不可靠，因?yàn)樵谶@些地方信號(hào)反射和阻塞現(xiàn)象很常見。結(jié)果，GPS測(cè)量有時(shí)可能比VIO/VSLAM系統(tǒng)自身生成的位姿估計(jì)更不確定。

VSLAM系統(tǒng)通過使用視覺測(cè)量結(jié)果將自身定位到預(yù)先構(gòu)建的地圖來補(bǔ)償漂移。定位問題通過匹配當(dāng)前相機(jī)視圖和地圖之間的視覺特征來解決。標(biāo)準(zhǔn)技術(shù)會(huì)匹配特征描述符。而較新的研究工作則用神經(jīng)網(wǎng)絡(luò)替代了特征描述符。無論采用何種匹配技術(shù)，所有基于視覺的定位方法都依賴于當(dāng)前相機(jī)視圖與參考地圖中視圖的相似性，這在許多情況下限制了它們的有效性，例如將無人機(jī)拍攝的航拍圖像定位到白天和夜間由地面車輛記錄的地圖上，或者將基于其他光譜相機(jī)（例如紅外相機(jī)）的VIO/VSLAM系統(tǒng)定位到由標(biāo)準(zhǔn)相機(jī)記錄的地圖上。

盡管在VIO-GPS算法和視覺定位技術(shù)方面有了不少進(jìn)展，但現(xiàn)有的方法仍難以完全應(yīng)對(duì)在城市環(huán)境中實(shí)現(xiàn)全球一致、低漂移位姿估計(jì)的挑戰(zhàn)，這是由于它們所依賴的全局測(cè)量存在固有的噪聲、稀疏性或視點(diǎn)依賴性。

為應(yīng)對(duì)這些挑戰(zhàn)，我們提議使用幾何信息（例如3D點(diǎn)云、網(wǎng)格）來定位數(shù)字孿生體。特別地，我們引入了一種新穎的方法，將VIO/VSLAM系統(tǒng)生成的局部地圖（稀疏3D點(diǎn)云）定位到幾何數(shù)字孿生體上。我們的方法使用局部VIO/VSLAM點(diǎn)云與數(shù)字孿生體的網(wǎng)格表示進(jìn)行點(diǎn)到平面的匹配，提供了一個(gè)緊密融合到VIO/VSLAM系統(tǒng)中的新的全局測(cè)量。

我們的實(shí)驗(yàn)在我們?cè)谠擁?xiàng)目背景下開發(fā)的高保真GPS模擬器以及使用在城市中飛行的無人機(jī)進(jìn)行的真實(shí)世界測(cè)試中，均證明了所提出方法優(yōu)于當(dāng)前最先進(jìn)的VIO-GPS方法。結(jié)果表明，與基于特征描述符匹配的傳統(tǒng)視覺定位技術(shù)相比，我們的方法不僅能更有效地減少漂移，而且在視點(diǎn)變化時(shí)具有更強(qiáng)的魯棒性。

02 主要貢獻(xiàn)

本工作的主要貢獻(xiàn)為：

? 一種新穎的算法，其通過點(diǎn)到平面匹配將局部且稀疏的VSLAM3D點(diǎn)云定位到數(shù)字孿生體，因而獨(dú)立于視覺匹配。

? 在VSLAM系統(tǒng)中緊密融合此類定位測(cè)量，以在城市環(huán)境中達(dá)成全球一致、低漂移的位姿估計(jì)。

? 在使用新型高保真GPS模擬器和在城市中飛行的無人機(jī)所采集的真實(shí)世界數(shù)據(jù)的模擬實(shí)驗(yàn)中，我們展示了我們的方法相對(duì)于最先進(jìn)的VIO-GPS系統(tǒng)的優(yōu)勢(shì)。

?我們表明，所提出的局部-全局地圖定位比基于圖像特征描述符匹配的最先進(jìn)視覺定位技術(shù)更穩(wěn)健。

03 方法架構(gòu)

我們提出了一種VSLAM系統(tǒng)，其借助場(chǎng)景幾何結(jié)構(gòu)將自身定位于數(shù)字孿生體，從而在城市環(huán)境中達(dá)成低漂移且全局一致的姿態(tài)估計(jì)。此定位問題被構(gòu)建為點(diǎn)云配準(zhǔn)問題，可通過點(diǎn)到平面的ICP算法高效解決。具體而言，我們通過將VSLAM系統(tǒng)生成的局部稀疏3D點(diǎn)云與城市數(shù)字孿生體進(jìn)行配準(zhǔn)，獲取全局測(cè)量值。接著，在VSLAM姿態(tài)估計(jì)過程中，此全局測(cè)量值與當(dāng)前相機(jī)和IMU測(cè)量值緊密耦合。另外，我們提出一種算法，能自適應(yīng)地找出用于在VSLAM中融合全局測(cè)量值的權(quán)重。這種自適應(yīng)加權(quán)解決方案使我們能夠考慮到配準(zhǔn)問題的不確定解，這些解源自退化情況且取決于場(chǎng)景幾何結(jié)構(gòu)。

04 實(shí)驗(yàn)

為了評(píng)估我們方法的有效性，我們?cè)谀M環(huán)境和真實(shí)世界環(huán)境中均開展了實(shí)驗(yàn)。我們將我們的方法與四個(gè)基準(zhǔn)方法進(jìn)行了對(duì)比。為了將我們的方法與整合GPS數(shù)據(jù)的VIO系統(tǒng)作比較，我們選取VINS-Fusion和SVO-GPS作為基準(zhǔn)。VINS-Fusion將VIO與GPS測(cè)量值松散耦合。相反，SVO-GPS在VIO滑動(dòng)窗口優(yōu)化中緊密耦合GPS測(cè)量值。為了將我們的方法與基于視覺特征匹配來實(shí)現(xiàn)閉環(huán)的SLAM系統(tǒng)進(jìn)行對(duì)比，我們選擇SVO-LoopClosure和ORB-SLAM3。SVO-LoopClosure與我們的系統(tǒng)采用相同的VIO管道。ORB-SLAM3是一個(gè)通過匹配ORB特征來執(zhí)行閉環(huán)的視覺SLAM系統(tǒng)。

A.模擬結(jié)果

我們的系統(tǒng)SVO-DigitalTwin以及基線所實(shí)現(xiàn)的絕對(duì)軌跡誤差在表I中報(bào)告。估計(jì)的軌跡與真實(shí)軌跡一起繪制在圖4中。SVO-DigitalTwin在位置和旋轉(zhuǎn)方面實(shí)現(xiàn)了最佳的絕對(duì)軌跡誤差，優(yōu)勢(shì)顯著。具體而言，相對(duì)于表現(xiàn)最佳的基線，ATEp和ATER分別提高了31%和27%。

我們?cè)诒鞩I中納入了一項(xiàng)消融研究，以驗(yàn)證我們的自適應(yīng)加權(quán)策略。改進(jìn)后的ATE誤差驗(yàn)證了所提出的自適應(yīng)加權(quán)策略的益處。

我們?cè)诒鞩II中列出了主要系統(tǒng)組件的運(yùn)行時(shí)間。我們?yōu)槌跏紝?duì)齊步驟設(shè)定了一個(gè)時(shí)間長(zhǎng)度。在這段時(shí)間過后，我們檢查是否滿足收斂標(biāo)準(zhǔn)（見第III-D節(jié)）。如果滿足，則認(rèn)為對(duì)齊成功。如果不滿足，我們會(huì)積累更多的GPS測(cè)量值，直到滿足該標(biāo)準(zhǔn)。姿態(tài)估計(jì)的運(yùn)行時(shí)間是從圖像捕獲到估計(jì)出該圖像的相機(jī)姿態(tài)所經(jīng)過的時(shí)間。

B.真實(shí)世界實(shí)驗(yàn)

我們的系統(tǒng)SVO-DigitalTwin以及基線所產(chǎn)生的絕對(duì)軌跡誤差在表IV中報(bào)告。估計(jì)軌跡與真實(shí)軌跡一同繪制在圖7中。SVO-DigitalTwin在位置和旋轉(zhuǎn)方面大幅實(shí)現(xiàn)了最佳的絕對(duì)軌跡誤差。具體而言，相對(duì)于表現(xiàn)最佳的基線，ATEp和ATER分別提高了32%和28%。由于SVO-GPS將GPS與視覺和慣性數(shù)據(jù)緊密耦合，GPS測(cè)量的高度不確定性，其性能有所下降。

此外，我們針對(duì)提出的幀對(duì)齊策略，評(píng)估了其與將VSLAM姿態(tài)估計(jì)與基于世界坐標(biāo)系的參考地面真值姿態(tài)進(jìn)行對(duì)齊的效果。我們的對(duì)齊策略實(shí)現(xiàn)了0.50米的平移誤差和0.79度的航向誤差。否則，在我們的對(duì)齊策略中僅使用GPS測(cè)量將導(dǎo)致8.11米的平移誤差和6.77度的航向誤差。

05 總結(jié)

綜上所述，本文提出了一種通過利用數(shù)字孿生體的幾何信息來降低VIO/VSLAM系統(tǒng)漂移的新方法。通過引入一種通過點(diǎn)到平面匹配將VIO/VSLAM生成的點(diǎn)云定位到城市數(shù)字孿生體的方法，我們解決了依賴GPS或視覺定位技術(shù)的方法所存在的局限性。我們?cè)诟弑Ｕ鍳PS模擬器和真實(shí)世界的無人機(jī)飛行進(jìn)行的實(shí)驗(yàn)中，均展示了該方法相較于現(xiàn)有系統(tǒng)的優(yōu)越性，特別是在減少漂移和處理視點(diǎn)變化方面。（想要了解更多文章細(xì)節(jié)的讀者，可以閱讀一下論文原文~）