1. 文章一覽

本文介紹了一種名為長短距離循環更新（LRRU）網絡的輕量級深度網絡框架，用于深度補全。深度補全是指從稀疏的距離測量估計密集的深度圖的過程。現有的深度學習方法使用參數眾多的大型網絡進行深度補全，導致計算復雜度高，限制了實際應用的可能性。相比之下，本文提出的LRRU網絡首先利用學習到的空間變體核將稀疏輸入填充以獲得初始深度圖，然后通過迭代更新過程靈活地更新深度圖。迭代更新過程是內容自適應的，可以從RGB圖像和待更新的深度圖中學習到核權重。初始深度圖提供了粗糙但完整的場景深度信息，有助于減輕直接從稀疏數據回歸密集深度的負擔。實驗證明，LRRU網絡在減少計算復雜度的同時實現了最先進的性能，更適用于深度補全任務。

圖1 不同模型性能與效率比較

2. 原文摘要

現有的基于深度學習的深度補全方法通常需要堆疊大量的網絡層，以從稀疏的數據直接預測密集的深度圖。雖然這種方法大大推動了此任務的發展，但隨之帶來的巨大計算復雜度限制了實際應用。為了更高效地完成深度補全任務，我們提出了一種新型的輕量級深度網絡框架LRRU（Long-short Range Recurrent Updating Networks）。LRRU首先使用非學習方法粗略填充稀疏的輸入，得到初始的密集深度圖，然后通過學習到的空間變化內核迭代更新初始深度圖。我們提出的Target-Dependent Update模塊可以動態調整內核權重，并考慮RGB圖像及深度圖本身的內容特征進行自適應更新。另外，我們還提出了一種長短范圍循環更新策略，可以動態調整內核范圍，以捕獲不同距離尺度的相關信息。實驗結果表明，LRRU在不同的參數配置下都可以達到SOTA性能。具體來說，最大的LRRU-Base模型在NYUv2和KITTI數據集上分別獲得最優的性能。

圖2 LRRU網絡流程圖

3. 方法細節

給定一個稀疏深度圖，我們首先用一個簡單的非學習方法將其填充為密集深度圖。然后，根據我們提出的長短范圍循環更新策略（詳見3.2節），我們的方法通過目標相關更新模塊（詳見3.1節）迭代優化初始深度圖，以得到精確密集的深度圖。在3.3節，我們提供了方法的實現細節。為了方便描述，我們使用目標深度（）來表示第次更新的深度圖。

圖3 目標相關更新模塊

3.1 目標相關更新單元

我們提出的目標相關更新（TDU）模塊通過學習空間變化內核來更新目標深度圖，這些內核能夠根據每個像素及其鄰域之間的親和力進行調整。為了避免固定局部鄰域帶來的冗余信息，我們的TDU使用全卷積網絡預測內核權重和鄰域采樣位置，其中采樣位置是通過學習相對于規則網格的偏移量實現的。然而，由于權重和偏移量缺乏直接監督信號，這可能導致訓練不穩定。為了解決這個問題，我們利用RGB圖像和稀疏深度圖的特征來引導TDU獲取合適的鄰域，因為RGB圖像中包含豐富的結構細節，稀疏深度圖中包含準確的場景深度信息。此外，我們還考慮了待更新深度圖本身的特征來引導TDU，使得更新操作與目標深度圖內容相關聯，這可以避免產生次優解，尤其是當初始深度圖不是直接從RGB圖像和稀疏深度圖回歸得到時。因此，除了RGB圖像和稀疏深度圖之外，我們還提出從目標深度圖本身中提取特征來引導TDU。我們將從RGB圖像和稀疏深度圖中提取的特征稱為交叉引導特征，將從目標深度圖中提取的特征稱為自引導特征。如式（1）所示，交叉引導特征 從特征提取網絡 中的RGB圖像和稀疏深度圖中提取，自引導特征 通過卷積層 從目標深度圖 中獲得。

權重和偏移回歸。如圖3所示，我們的TDU首先連接交叉引導特征和自引導特征，然后通過兩個獨立的卷積層分別學習權重特征圖和偏移特征圖。為使權重和偏移快速收斂，我們對它們的行為添加一些限制來指導學習過程。具體來說，權重特征圖有個通道，其中是內核大小，在本文中設置為3。我們對sigmoid層的輸出應用sigmoid層使權重大于0且小于1。此外，我們從sigmoid層的輸出中減去均值，使權重之和為0，起到類似高通濾波器的作用。偏移特征圖有個通道，表示相對于規則網格上的位置在x和y方向上的偏移。但是，為確保每個參考像素參與其自身的更新過程，我們首先預測具有個通道的偏移特征圖，然后將零插入偏移特征圖的中心。

殘差連接。我們觀察到更新單元的輸入和輸出圖高度相關，共享低頻信息。因此，與現有的SPN不同，這些SPN直接預測更新后的深度圖，我們提出學習目標深度圖的殘差圖像以增強結構細節和抑制噪聲。給定學習到的權重和采樣偏移，如式（2）所示，位置處的殘差圖像 通過加權平均獲得。

在式（2）中，表示位置的鄰域集合。由于偏移通常是分數，我們使用雙線性插值對局部四點進行采樣。濾波器權重從交叉引導特征和自引導特征中預測。我們聚合來自稀疏選擇的位置的深度值，具有學習到的權重。然后，如式（3）所示，我們將殘差圖像添加到目標深度圖中以獲得更新后的深度圖。

3.2 長短距離循環更新策略

圖4 長短距離循環更新策略

為了在更新過程中獲得適合各自目標的適當內核權重和范圍，我們需要一個有效的循環更新策略來指導TDU。具體來說，由于對于由非學習方法獲得的初始深度圖，只有少數可用的稀疏測量點及其周圍點具有高精度，而大多數像素的周圍點則不準確，因此，在更新過程開始時，我們應該采用大的內核范圍，以便從一些長距離但準確的點中獲取鄰域信息。然而，隨著深度圖變得更精細，我們應該逐漸縮小內核范圍，以便更多地關注短距離內的點，因為它們通常與參考點更相關。但是，現有的SPN使用的遞歸更新策略不夠靈活，無法滿足上述需求。例如，CSPN和NLSPN在更新過程中使用固定的內核權重和范圍，這不僅限制了SPN的表示能力，還需要大量迭代來獲得長距離依賴關系。盡管CSPN++和DySPN通過模型集成和注意機制緩解了這個問題，但它們的內核范圍在更新過程中仍然保持不變。

圖5 在迭代更新過程中內核范圍的變化

圖6 在KITTI和NYUv2數據集上鄰域最大最小距離分析

為了指導TDU在更新過程中動態調整內核范圍，從而獲得適合各自目標的適當內核權重和范圍，我們在本文中提出了一種長短距離循環更新策略，如圖4所示。每個TDU的參數，包括內核權重和鄰域的采樣位置，都是通過考慮交叉引導特征和自引導特征來學習的。我們發現，當不同TDU分別由不同尺度的交叉引導特征引導時，由更小尺度的交叉引導特征引導的TDU將自適應地學習以獲得相對更大范圍的鄰域，反之亦然。這是因為不同尺度的交叉引導特征具有不同的感受野。基于這一觀察，我們讓第一次迭代的TDU使用 1/8 尺度的交叉引導特征圖來引導，以便從一些長距離但準確的點中獲取鄰域信息。在后續迭代中，我們讓TDU逐漸使用更大尺度的交叉引導特征圖，例如1/4尺度、1/2尺度和全尺度，以便更多地關注短距離內的點。圖5和圖6展示了在迭代更新過程中內核范圍從大到小的變化。由于提出的循環更新策略具有很高的靈活性，我們只需要很少的迭代次數和鄰域即可獲得滿意的結果。

3.3 實現細節

網絡架構。我們的網絡架構如圖2所示，由兩個部分組成：交叉引導特征提取網絡和長短距離循環更新模塊。交叉引導特征提取網絡使用深度編碼器和RGB編碼器這兩個子網絡，分別從稀疏深度圖和對應的RGB圖像中提取特征。然后，多尺度RGB特征被注入到深度編碼器中，以實現不同模式信息的充分整合。接著，解碼器網絡用于學習融合后的多尺度特征的殘差。最后，交叉引導特征被上采樣到與初始深度圖相同的分辨率，并作為輸入傳遞給長短距離循環更新模塊中的TDU。

損失函數。我們通過和距離對每個迭代輸出與ground truth深度圖進行監督，權重按指數遞增。損失函數如式（4）定義。

其中1表示ground truth中是否有值，表示逐元素乘法。我們在實驗中設置。

訓練細節。我們使用PyTorch實現模型，在GeForce RTX 3090 GPU上進行訓練和測試。所有模型從隨機權重開始初始化。在訓練過程中，我們使用批量大小為8的Adam優化器。我們設置，權重衰減為，總迭代輪數為45。初始學習率為，前15輪保持不變，之后每5輪衰減50%。

4. 實驗結果

我們在NYUv2和KITTI數據集上對LRRU進行了評估，并將其與其他state-of-the-art方法進行了比較。結果表明，LRRU在不同的參數配置下都優于其他方法。特別是，最大的LRRU-Base模型在NYUv2上達到了最佳性能，在KITTI基準測試上獲得了第一名。表1和表2分別給出了LRRU和其他方法在兩個數據集上的定量結果，圖3和圖4展示了LRRU和其他方法在兩個數據集上的定性結果。

表1 四個LRRU變體的設置

表2 在KITTI基準測試上的定量比較

圖7 在KITTI測試數據集上的定性比較

表3 消融實驗

表4 使用不同更新模塊的比較

表5 使用不同損失函數的比較

表6 硬件花費比較

表7 在KITTI驗證集上使用測試時數據增強的結果

圖8 在RMSE的性能

表8 在NYUv2數據集上的定量評估

圖9 在NYUv2數據集上的定性結果

表9 在僅深度的情況下的結果

5. 本文總結

本文提出了一種新型高效的深度補全網絡LRRU，它通過結合目標相關更新模塊和長短距離循環策略，實現了在參數量和推理時間較少的情況下達到SOTA的性能。與直接回歸方法相比，LRRU采用了預填充稀疏深度圖并迭代更新的方式，更加有效地優化深度圖。目標相關更新模塊可以根據RGB圖像、稀疏深度圖和當前深度圖自適應地調整內核參數，從而更好地適應不同的目標。長短距離循環策略可以從長距離逐步聚焦到短距離，使更新過程更加靈活和精細。實驗結果表明，LRRU的不同規模變體在NYUv2和KITTI數據集上都優于現有方法。未來工作將探索將LRRU應用于其他密集預測任務，如單目深度估計和語義分割。

審核編輯：彭菁