論文題目：EAI-Stereo: Error Aware Iterative Network forStereo Matching

作者：Haoliang Zhao ；Huizhou Zhou

作者機(jī)構(gòu)：北京大學(xué)深圳研究生院趙勇團(tuán)隊(duì)詭谷子人工智能開(kāi)放實(shí)驗(yàn)室

論文鏈接：https://openaccess.thecvf.com/content/ACCV2022/papers/Zhao_EAI-Stereo_Error_Aware_Iterative_Network_for_Stereo_Matching_ACCV_2022_paper.pdf

項(xiàng)目代碼：https://github.com/David-Zhao-1997/EAI-Stereo（論文中提到的開(kāi)源代碼已經(jīng)沒(méi)有了）

GitHub代碼：https://github.com/smartadpole/EAI-Stereo（這里是GitHub中開(kāi)源的EAI-stereo）

由詭谷子AI開(kāi)放實(shí)驗(yàn)室開(kāi)發(fā)的雙目視覺(jué)立體匹配算法EAIStereo ( EAI-Stereo: Error aware iterative network for stereo matching)，針對(duì)立體匹配算法中未充分利用高頻信息而導(dǎo)致相對(duì)模糊的問(wèn)題，提出了一種誤差感知細(xì)化模塊，將來(lái)自原始圖像的高頻信息結(jié)合進(jìn)來(lái)進(jìn)行誤差校正，生成出精細(xì)的細(xì)節(jié)和尖銳的邊緣。另外，為了提高數(shù)據(jù)傳輸效率，作者還提出了迭代多尺度寬式長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)。實(shí)驗(yàn)證明，該方法在多個(gè)數(shù)據(jù)集上取得了良好的效果，并且在 Middlebury 排行榜和 ETH3D 立體基準(zhǔn)測(cè)試上表現(xiàn)出色。

1 前言

估計(jì)像素對(duì)應(yīng)關(guān)系的問(wèn)題是立體匹配的任務(wù)。傳統(tǒng)立體匹配算法有四步驟：匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和優(yōu)化。學(xué)習(xí)式方法與傳統(tǒng)方法相比，通常產(chǎn)生更準(zhǔn)確和平滑的視差圖，并具有較高的計(jì)算速度。其中一些挑戰(zhàn)是恢復(fù)薄物體和銳利邊緣的低效率問(wèn)題、基于GRU的迭代結(jié)構(gòu)的不足和學(xué)習(xí)方法的推廣能力問(wèn)題。EAI-Stereo是解決這個(gè)問(wèn)題的方法，它使用了一種誤差感知的迭代結(jié)構(gòu)。

本文提出了一種新的端到端數(shù)據(jù)驅(qū)動(dòng)的立體匹配方法EAI-Stereo（Error Aware Iterative Stereo）。本文的主要貢獻(xiàn)如下：

提出了一種錯(cuò)誤感知的細(xì)化模塊，它將左右變形與基于學(xué)習(xí)的上采樣相結(jié)合。通過(guò)將包含更多高頻信息的原始左圖像和顯式計(jì)算誤差圖相結(jié)合，文章的細(xì)化模塊使網(wǎng)絡(luò)能夠更好地應(yīng)對(duì)過(guò)度曝光、欠曝光以及弱紋理，并允許網(wǎng)絡(luò)學(xué)習(xí)糾錯(cuò)能力，從而使EAI-Stereo能夠產(chǎn)生極端細(xì)節(jié)和銳利邊緣。模塊中的基于學(xué)習(xí)的上采樣方法與雙線性插值相比，可以提供更精細(xì)的上采樣結(jié)果。作者仔細(xì)研究了模塊微觀結(jié)構(gòu)對(duì)性能的影響。從實(shí)驗(yàn)中，作者發(fā)現(xiàn)該結(jié)構(gòu)可以提高泛化能力并提高性能。該方法具有很高的通用性，可以應(yīng)用于所有產(chǎn)生視差或深度圖的模型。

提出了一種高效的迭代更新模塊，稱為Multiscale Wide-LSTM，它可以有效地將來(lái)自特征提取、代價(jià)體積和當(dāng)前狀態(tài)的多尺度信息相結(jié)合，從而增強(qiáng)每次迭代之間的信息傳遞。

提出了一種靈活的整體結(jié)構(gòu)，可以平衡推理速度和準(zhǔn)確性。可以在不重新訓(xùn)練網(wǎng)絡(luò)甚至在運(yùn)行時(shí)進(jìn)行權(quán)衡。迭代次數(shù)也可以根據(jù)最小幀速率動(dòng)態(tài)確定。

2 相關(guān)背景

立體匹配領(lǐng)域中的數(shù)據(jù)驅(qū)動(dòng)方法占據(jù)了主導(dǎo)地位。為了提高準(zhǔn)確性，許多研究者采用了3D卷積和金字塔結(jié)構(gòu)。為了降低計(jì)算成本，一些方法使用新的方式避免了使用3D卷積。一些其他的新方法，例如引入域歸一化和基于非局部圖的濾波器，都提高了網(wǎng)絡(luò)的準(zhǔn)確性和泛化能力。這些方法極大地促進(jìn)了立體視覺(jué)領(lǐng)域的發(fā)展，并在立體匹配任務(wù)上取得了很高的性能。

隨著深度學(xué)習(xí)的發(fā)展，迭代神經(jīng)網(wǎng)絡(luò)在立體匹配和光流場(chǎng)估計(jì)等領(lǐng)域中得到了廣泛應(yīng)用。人們通過(guò)改進(jìn)迭代模塊，利用較小的網(wǎng)絡(luò)替換單個(gè)重量級(jí)前饋網(wǎng)絡(luò)。這種方法大大降低了計(jì)算復(fù)雜度。同時(shí)，改進(jìn)的迭代模塊在立體匹配中也取得了更好的性能。現(xiàn)有的GRU也逐漸成為迭代模型中的瓶頸，因此需要更好的迭代模塊來(lái)進(jìn)一步提高性能。

3 方法

本文的網(wǎng)絡(luò)將一對(duì)矯正后的圖像Il和Ir作為輸入。然后提取特征并將其注入成本體積中。多尺度迭代模塊從成本體積中檢索數(shù)據(jù)并迭代更新視差圖。最后，迭代的1/4分辨率視差圖被饋送到錯(cuò)誤感知細(xì)化模塊中，該模塊可以執(zhí)行學(xué)習(xí)的上采樣和錯(cuò)誤感知糾正以獲得最終的視差圖。

3.1 Multi-scale Feature Extractor - 多尺度特征提取器

在這一部分，作者使用類似ResNet的網(wǎng)絡(luò)作為特征提取器，利用兩個(gè)共享權(quán)重的提取器提取一對(duì)圖像Il和Ir的特征圖，用于構(gòu)建3D相關(guān)體積，遵循RAFT-Stereo的方法。該網(wǎng)絡(luò)由一系列殘差塊組成，然后是兩個(gè)下采樣層，用于提供多尺度信息Fh，F(xiàn)m和Fl給接下來(lái)的迭代寬LSTM模塊。特征圖Fh，F(xiàn)m和Fl的空間大小是原始輸入圖像尺寸的1/4、1/8和1/16。

3.2 Iterative Multiscale Wide-LSTM Network - 迭代多尺度Wide-LSTM網(wǎng)絡(luò)

在這一部分，作者提出了一種高效的迭代更新模塊，稱為Multiscale Wide-LSTM，可以有效地結(jié)合特征提取、成本體積和當(dāng)前狀態(tài)的信息，并提高每次迭代之間的信息傳遞。多尺度迭代模塊，擴(kuò)展了迭代模塊的寬度，三個(gè)子模塊各自建立了兩條數(shù)據(jù)路徑C和h，連接前后迭代模塊，更高效地進(jìn)行信息傳遞。采用多尺度的優(yōu)勢(shì)在于可以在每個(gè)尺度上使用不同的迭代子模塊，而較低分辨率的特征圖像素較少，可以執(zhí)行比較耗時(shí)的操作。

3.3. Error Aware Refinement - 錯(cuò)誤感知細(xì)化

在這一部分，作者提出了一種Error Aware Refinement模型，主要解決了傳統(tǒng)模型忽略高頻信息的問(wèn)題，提高了模型的精度和細(xì)節(jié)保留能力。具體來(lái)說(shuō)，模型首先使用learned upsampling將LSTM網(wǎng)絡(luò)預(yù)測(cè)的1/4分辨率的原始視差圖上采樣，再使用卷積層生成一個(gè)上采樣mask，并利用凸上采樣方法得到與原始圖像大小相同的視差圖。然后，在Error Aware模塊中，模型通過(guò)誤差感知，利用右圖像進(jìn)行重建，計(jì)算出誤差地圖，再與左圖像一起送入Hourglass模型中進(jìn)行細(xì)化操作，最終得到最終的視差圖。在整個(gè)模型過(guò)程中，考慮了不同形式的誤差信息的融合，并在微結(jié)構(gòu)上進(jìn)行了優(yōu)化，提高了模型的性能表現(xiàn)。

4 實(shí)驗(yàn)

4.1 模型訓(xùn)練

本文中的EAI-Stereo模型基于PyTorch實(shí)現(xiàn)，使用兩個(gè)Tesla A100 GPU進(jìn)行訓(xùn)練。所有模型均使用AdamW優(yōu)化器進(jìn)行訓(xùn)練，權(quán)重衰減為 。學(xué)習(xí)率的預(yù)熱階段占整個(gè)訓(xùn)練計(jì)劃的1%。在所有實(shí)驗(yàn)中，我們使用數(shù)據(jù)增強(qiáng)方法，其中包括飽和度變化、圖像擾動(dòng)和隨機(jī)尺度。在所有預(yù)訓(xùn)練中，我們使用了Scene Flow數(shù)據(jù)集進(jìn)行200k次迭代的訓(xùn)練，學(xué)習(xí)率為 。

4.2 評(píng)估

EAI-Stereo在三個(gè)不同的視覺(jué)數(shù)據(jù)集上（Middlebury、ETH3D、KITTI-2015）的表現(xiàn)在多個(gè)指標(biāo)上表現(xiàn)最佳。在KITTI-2015數(shù)據(jù)集上，作者的方法通過(guò)在另一個(gè)數(shù)據(jù)集上的預(yù)訓(xùn)練和微調(diào)，在稀疏Ground Truth值上也有良好表現(xiàn)。該的方法在進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)時(shí)也展現(xiàn)出了強(qiáng)大的泛化性能。

4.3 Cross-domain Generalization - 跨領(lǐng)域泛化

作者使用與預(yù)訓(xùn)練完全相同的策略在Scene Flow數(shù)據(jù)集上訓(xùn)練我們的模型，然后直接使用權(quán)重進(jìn)行評(píng)估。將EAI-stereo的模型與一些最先進(jìn)的方法和一些經(jīng)典方法進(jìn)行了比較。比較表明，該的方法在泛化性能方面明顯優(yōu)于專門(mén)為泛化性能設(shè)計(jì)的DSMNet和CFNet，且可以通過(guò)使用預(yù)訓(xùn)練和微調(diào)等簡(jiǎn)單策略來(lái)提高模型的性能。

4.4 Ablations - 消融研究

評(píng)估了使用不同設(shè)置的EAI-Stereo的性能，包括不同的體系結(jié)構(gòu)和不同數(shù)量的迭代。在迭代多尺度Wide-LSTM網(wǎng)絡(luò)中，使用寬LSTM模塊可以顯著提高性能，其D1誤差可以減少10.14％，EPE可以減少4.80％。錯(cuò)誤感知細(xì)化模塊用于上采樣和細(xì)化工作。與寬LSTM基準(zhǔn)相比，采用擴(kuò)張細(xì)化可以減少Scene Flow驗(yàn)證集上的D1誤差2.81％，并使KITTI驗(yàn)證集上的EPE減少12.39％。迭代次數(shù)可以通過(guò)訓(xùn)練后調(diào)整，因此提高了模型的靈活性。在實(shí)際應(yīng)用中，可以通過(guò)給定最低幀速率來(lái)推斷迭代次數(shù)，在具有實(shí)時(shí)要求的場(chǎng)景中非常有用。

5 總結(jié)

作者提出了一種新穎的誤差感知迭代網(wǎng)絡(luò)用于立體匹配。進(jìn)行了多次實(shí)驗(yàn)以確定模塊的結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，該模型在速度和準(zhǔn)確性方面在各種數(shù)據(jù)集上表現(xiàn)良好，同時(shí)具有很強(qiáng)的泛化性能。

審核編輯 ：李倩