1 介紹

一般相機姿態估計問題通常分為兩階段來處理，即首先進行特征匹配，然后根據匹配對應關系估計姿態，所以大家往往關注在要么提高匹配質量，即研究更魯棒高效的特征檢測匹配算法，要么是研究如何過濾潛在的異常值。這樣導致匹配和姿態估計割裂開來，這篇文章則不同，他們利用了這兩個任務之間的幾何關聯：幾個好的匹配就足以進行大致準確的姿態，反過來，通過提供的幾何約束，大致準確的姿態又可以用來引導匹配。為此，他們提出了一個迭代匹配和姿態估計框架，實現了一個基于幾何感知的遞歸注意力模塊，該模塊輸出稀疏匹配和相機姿態。

此外，為了提升效率，避免對無信息特征點進行冗余操作，提出了一種采樣策略，將特征點的匹配和注意力得分以及預測姿態的不確定性相結合，自適應去除關鍵點，與之前主要基于注意力得分的采樣方法相比，有效克服了過采樣問題。框架從兩個方面降低了時間成本：首先，與對所有情況采用固定次數的迭代相比，它對視點或外觀變化較少的簡單情況運行較少的迭代，而對具有挑戰性的情況運行較多的迭代；其次，它降低了每次迭代的成本，顯著降低了注意力計算的二次時間復雜性，表明了丟棄潛在的異常值不僅可以提高效率，還可以提高準確性。

主要貢獻

1.提出了一種迭代地執行幾何感知的匹配和姿態估計的框架，允許這兩個任務以迭代的方式相互促進。

2.采用了一種穩健的采樣策略來自適應地丟棄迭代過程中的冗余特性點，顯著降低了時間復雜度。

3.將姿態不確定性應用于采樣策略，進一步提高了精度匹配和姿態估計。

方法

基于transformer的迭代匹配：

首先，給定來自兩幅圖像的兩組特征點，，m和n是特征點的數量，然后匹配器預測的匹配表示為：，其中表示匹配對，而每個特征點由由他的二維坐標，置信度，描述子，d是描述子維數。

這里，作者會將每個特征點的坐標和他的置信度用MLP多層感知器編碼為一個高維向量，添加到原來的描述子中進行一個擴充。即.操作如下：

其中 and 是用于的自注意力和交叉注意力機制，是FC層全連接層，是3層的MLP，是通道間串聯，使用共享注意力機制來進一步增加預計算的注意力矩陣的描述符：

之后，開始進行迭代匹配預測，在上一步獲得擴充描述子后，利用他們計算一個匹配矩陣，，當匹配超過預定義的閾值時定義為預測匹配。與SuperGlue類似，采用最小化匹配矩陣的負對數似然的分類損失來強制網絡預測每次迭代的正確匹配，如下所示：

基于transformer的迭代匹配：

由于噪聲和退化，并非所有正確匹配都能給出良好的姿態。之前的操作僅保證具有判別性高的描述子的特征點有更高的匹配分數，并且首先被識別以參與姿態估計，但忽略了魯棒姿態估計所需的幾何要求。

因此，直接使用匹配分數超過預定義閾值的所有潛在inliers進行姿態估計可能是不準確的。所以隱式地將幾何信息編碼進匹配transformer中，強制匹配模塊首先關注不僅正確而且很有可能給出良好姿態的匹配。

為此，在每次迭代中，在中超過預定義閾值的匹配用來計算基本矩陣，其中是預測的基本矩陣，是預測的匹配，是匹配分數，然后聯合最小化位姿誤差和極線誤差來強制和真值之間的幾何一致性，如下：

是Sampson距離。和分別為真值和預測匹配。

對于每次迭代，最終損失為：

我們將L（t）應用于每次迭代，并計算t次迭代的總損失：

自適應幾何感知的采樣：事實上，許多關鍵點是無信息的，并且大量關鍵點在其他圖像中沒有對應關系，更新這些關鍵點會帶來額外的時間，所以提出了一種有效的策略來去除這些關鍵點。

每個關鍵點所包含的信息由其在注意力矩陣中對其他關鍵點的貢獻來定義（m，n是關鍵點中query和key的數量，h是head的數量）。通過沿head和key對值取平均值來計算每個關鍵點的得分，。

在第t次迭代時，包含所有對的匹配置信度的匹配矩陣M（t）揭示了哪些關鍵點可能具有真正的對應關系。基于匹配矩陣M（t），生成兩個子集和。由于 and 中的關鍵點是潛在的內點，它們可以為尋找更多信息提供指導，即讓, s.t. 表示中關鍵點的自注意力得分，生成了另一組具有高自注意分數的關鍵點，, s.t.，通過重復這個過程，從具有高交叉注意力得分的X（t）中獲得另一個子集作為，并且從Y（t）中具有高自和交叉注意力分數的獲得兩個集合。最后的集合是信息關鍵點和匹配關鍵點的并集，

當描述符不具有判別性時，匹配矩陣M（t）在最初的幾次迭代中可能不是非常準確，從而損害準確性。為了緩解這個問題，使用了預測的姿態。將姿態一致性的不確定性定義為

使用r（t）來調整采樣閾值θm，

姿態估計：在測試時，每次迭代后計算匹配M（t），并根據與RANSAC的匹配來估計姿態，連續預測姿態P（t）和P（t?1）之間的相對誤差作為停止標準來確定是否繼續迭代，即如果旋轉和平移的最大誤差小于閾值時，則迭代停止。

實驗

在YFCC100m、Scannet、Aachen Day-Night數據集上進行測試。

YFCC100m是一個大型室外數據集，具有劇烈光照變換、季節變化和視點變化。

Scannet是一個室內數據集，廣泛用于深度預測和姿態估計。

基線包括：簡單的匹配器，例如MNN和NN-RT，基于濾波的方法，例如OANet、AdaLAM、CLNet和LMCNet，最后還有基于transformer的匹配器SuperGlue, SGMNet,ClusterGNN。

?

?

運行時間：

總結

提出了一種聯合迭代匹配和姿態估計框架，允許這兩項任務相互促進，從而提高了精度和效率。

將幾何信息嵌入到匹配模塊中，使模型能夠預測匹配，這些匹配不僅準確，而且能夠給出良好的姿態。此外，在每次迭代中，利用預測的匹配、相對姿態和注意力得分來在每次迭代時自適應地去除沒有潛在真實匹配的關鍵點，提高了效率并保持了準確性。

編輯：黃飛