魯棒數據關聯是視覺里程計的核心問題，圖像間的對應關系為攝像機姿態和地圖估計提供了約束條件。目前最先進的直接和間接方法使用短期跟蹤來獲得連續的幀到幀約束，而長期約束則使用循環閉包來建立。在這篇論文中，我們提出一個新的視覺語義里程計（VSO）架構，使中期連續追蹤點使用語義。我們提出的框架可以很容易地集成到現有的直接和間接視覺里程計管道中。挑戰真實世界數據集的實驗表明，在自主駕駛環境下，通過整合我們的語義約束，相對于最先進的基線有了顯著的改進。

　　視覺里程計（VO）算法使用視覺測量來跟蹤一個或多個攝像頭的運動。它們基于攝像機饋送確定當前位置的能力構成任何類型的人工智能（例如，自動駕駛汽車或其他自主機器人）和任何類型的智能增強系統（例如，增強或混合現實設備）的關鍵組件。VO的核心是數據關聯問題，因為它在圖像之間建立像素級的關聯。這些對應同時用于構建場景的三維貼圖，并跟蹤當前攝影機幀相對于貼圖的姿勢。當然，這種局部跟蹤和映射方法會在每一幀中引入小誤差。隨著時間的推移積累這些誤差會導致姿勢和地圖估計值的漂移。為了減少這種漂移，利用相應圖像觀測值之間的約束來聯合優化姿態和地圖，例如使用擴展Kalman濾波器〔33〕或光束平差〔26，46〕，通常有兩種正交方法來減小VO中的漂移。第一種方法使用圖像之間的短期對應，通過在后續相機幀之間過渡地建立約束來實現時間漂移校正。這在汽車場景中特別有用，即汽車沿直線行駛很長時間。第二種方法使用循環閉合檢測在時間上遙遠的幀之間建立長期約束。后者只有在相機多次與先前的軌跡相交或在與預先建立的地圖定位的情況下才有效〔30〕。本文提出了一種利用語義對第一種漂移校正策略進行改進的方法，用于中期連續跟蹤點。在這種情況下，現有技術的主要限制是缺乏不變性表示：基于特征的方法（例如ORB-SLAM）［34，35］和基于最小化光度誤差的直接方法（例如LSDSLAM［13］或DSO［12］）都無法在長距離內連續跟蹤一個點因為這兩種表示都不是完全不變的觀點和照明變化。這種情況的一個例子如圖1所示，其中，當汽車行駛在道路上時，面片表示對尺度變化的不變性使得我們無法建立中期對應關系。本文的主要思想是將語義作為一種不變的場景表示。潛在的直覺是，視點、尺度、光照等的變化只影響物體的低級外觀，而不影響其語義。如圖1所示，場景語義使我們能夠建立長期的約束，使我們能夠顯著地減少VO系統中的漂移?；谶@一思想，本文提出了一種新的視覺語義里程計（VSO）方法，將語義約束整合到姿態和地圖優化中。具體來說，本文的主要貢獻如下：1）我們推導了一種新的最小化語義重投影錯誤的代價函數，并證明了使用期望最大化（EM）方案可以使其最小化。我們的方法是靈活的，因為它可以與任何語義分割算法相結合。2） 我們證明，在自主駕駛的情況下，將語義代價項包含到VO算法中可以顯著減少平移漂移。我們的方法可以很容易地集成到現有的VO方法中，獨立于它們依賴于數據的直接或間接方法作為關聯。3） 我們實驗性地分析了我們的方法的行為，解釋了它在哪些條件下提供了改進，并討論了當前的限制。

?