(1) 我們提出了第一個(gè)即插即用的learning-based的視頻深度框架NVDS。可以用于任意的單目圖像深度預(yù)測(cè)模型，去除時(shí)域抖動(dòng)增強(qiáng)幀間一致性。

(2) 我們提出的Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場(chǎng)景最豐富的自然場(chǎng)景視頻深度數(shù)據(jù)集。

如下圖，與之前的視頻深度預(yù)測(cè)方法相比，本文方法NVDS在空間精度，時(shí)域平滑性，和推理效率上，均有提升顯著。同時(shí)，本文提出的Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場(chǎng)景最豐富的自然場(chǎng)景視頻深度數(shù)據(jù)集。

1. 任務(wù)背景與動(dòng)機(jī)?

視頻深度預(yù)測(cè)對(duì)許多下游任務(wù)(例如視頻散景渲染，3D視頻合成，視頻特效生成等)具有重要的影響。理想的視頻深度預(yù)測(cè)模型需要解決兩個(gè)問題：(1) 深度的空間準(zhǔn)確; (2) 幀間的時(shí)域一致。近些年來(lái)，單目圖像深度預(yù)測(cè)算法已經(jīng)顯著提升了空間準(zhǔn)確性，但如何去除抖動(dòng)提升幀間時(shí)域的一致性仍是一個(gè)困難的問題。

主流的視頻深度預(yù)測(cè)方法依賴于Test-time Training。他們?cè)谕评頃r(shí)，通過幾何約束和相機(jī)參數(shù)，迫使一個(gè)單目圖像深度預(yù)測(cè)模型過擬合當(dāng)前特定測(cè)試視頻的時(shí)域關(guān)系。這樣做有兩個(gè)明顯的缺點(diǎn)：(1)魯棒性差。相機(jī)參數(shù)在許多視頻中往往難以做到準(zhǔn)確可靠，而導(dǎo)致CVD，Robust-CVD等方法，產(chǎn)生明顯的artifact和完全錯(cuò)誤的預(yù)測(cè)結(jié)果; (2)效率很低。以CVD為例，其在四張Tesla M40 GPU上處理一段244幀的視頻，需要超過四十分鐘的時(shí)間。

因此，很自然的一個(gè)想法是，我們能否建立learning-based的視頻深度預(yù)測(cè)方法，能夠直接在數(shù)據(jù)集上學(xué)習(xí)到時(shí)域一致性的能力和先驗(yàn)，直接預(yù)測(cè)得到較好的結(jié)果，而不需要Test-time Training。那與所有的深度學(xué)習(xí)算法一樣，設(shè)計(jì)和實(shí)現(xiàn)這樣的learning-based的視頻深度方法，就需要處理兩個(gè)核心問題：(1)合理的模型設(shè)計(jì)，能夠建模幀間依賴關(guān)系，提升預(yù)測(cè)結(jié)果的一致性; (2) 充足的訓(xùn)練數(shù)據(jù)，訓(xùn)練和激發(fā)模型的最佳性能。遺憾的是，之前的learning-based視頻深度方法，其性能仍不如Test-time Training的方法，結(jié)果設(shè)計(jì)的有效性仍需要繼續(xù)研究和探索。由于標(biāo)注代價(jià)很大，已有的視頻深度數(shù)據(jù)集在數(shù)據(jù)體量和場(chǎng)景豐富度上仍然較為有限。

2. 方法與貢獻(xiàn)? ?

為了解決上述的兩個(gè)核心挑戰(zhàn)，我們做出了兩點(diǎn)貢獻(xiàn)：

(1) 我們提出了第一個(gè)即插即用的learning-based的視頻深度框架NVDS。NVDS包含一個(gè)depth predictor和一個(gè)stabilization network。其中，stabilization network可以直接被用到任意的單目圖像深度預(yù)測(cè)模型上，去除時(shí)域抖動(dòng)幀間一致性。之前所有的learning-based的視頻深度預(yù)測(cè)模型都是獨(dú)立的(stand-alone)模型，其空間性能無(wú)法受益于sota的單目圖像模型，反之無(wú)法對(duì)大量已有的單目圖像模型進(jìn)行平滑穩(wěn)定。而NVDS的方法，打破了單目圖像深度預(yù)測(cè)和單目視頻深度預(yù)測(cè)的壁壘，一方面能夠受益于各種高精度的單圖模型，反之能對(duì)任意的單圖模型進(jìn)行平滑穩(wěn)定，實(shí)現(xiàn)了互相的促進(jìn)和雙贏。對(duì)于stabilization network ，我們采用了cross-attention建模關(guān)鍵幀(key frame)和參考幀(target frame)的幀間關(guān)系。同時(shí)，我們?cè)O(shè)計(jì)了雙向預(yù)測(cè)的機(jī)制來(lái)擴(kuò)大時(shí)域感受野，進(jìn)一步提升一致性。

(2) 我們提出了Video Depth in the Wild(VDW) 數(shù)據(jù)集，是當(dāng)前體量最大場(chǎng)景最豐富的自然場(chǎng)景視頻深度數(shù)據(jù)集。由于巨大的標(biāo)注代價(jià)，當(dāng)前已有的視頻深度數(shù)據(jù)集大多數(shù)都是封閉場(chǎng)景的。而少數(shù)的幾個(gè)自然場(chǎng)景的視頻深度數(shù)據(jù)集，其體量和豐富度還遠(yuǎn)遠(yuǎn)不足。例如Sintel只包含23段動(dòng)畫視頻。我們的VDW數(shù)據(jù)集，采集自電影、動(dòng)畫、紀(jì)錄片、網(wǎng)絡(luò)視頻等多種數(shù)據(jù)源，包含超過200小時(shí)的14203段視頻，總計(jì)223萬(wàn)幀。我們還設(shè)計(jì)了天空分割投票等機(jī)制，以及嚴(yán)格的數(shù)據(jù)篩選和標(biāo)注流程，來(lái)保證我們數(shù)據(jù)的精度。下圖包含數(shù)據(jù)集的部分示例，分別來(lái)自網(wǎng)絡(luò)視頻、紀(jì)錄片、動(dòng)畫、電影。

3.實(shí)驗(yàn)概述：方法部分? ?

在實(shí)驗(yàn)方面，我們?cè)赩DW數(shù)據(jù)集，以及公開的Sintel和NYUDV2數(shù)據(jù)集上，均取得了SOTA的空間精度和時(shí)域一致性。其中VDW和Sintel為自然場(chǎng)景數(shù)據(jù)集。對(duì)于封閉場(chǎng)景數(shù)據(jù)例如NYUDV2，不使用我們的VDW數(shù)據(jù)集而只用統(tǒng)一的NYUDV2訓(xùn)練集進(jìn)行訓(xùn)練，已經(jīng)能取得SOTA的性能；而用我們的VDW數(shù)據(jù)集預(yù)訓(xùn)練，再在封閉場(chǎng)景的NYUDV2進(jìn)行finetune，則能夠進(jìn)一步提升模型的性能表現(xiàn)。

同時(shí)為了證明我們即插即用的有效性，我們采用了三個(gè)不同的depth predictor進(jìn)行實(shí)驗(yàn)，我們的NVDS均取得了顯著的提升。

我們還通過ablation證明了雙向inference的有效性。單向的(Forward或backward)預(yù)測(cè)已經(jīng)能夠得到令人滿意的一致性，而雙向inference能夠進(jìn)一步擴(kuò)大時(shí)域感受野，提升一致性。

部分定性結(jié)果如下圖所示，我們NVDS的方法取得了顯著的提升。每組例子左側(cè)為RGB幀，右側(cè)為視頻時(shí)域切片。切片中更少的條紋表征了更好的一致性和穩(wěn)定性。更多可視化結(jié)果請(qǐng)參考我們的論文、補(bǔ)充材料、成果視頻。

4. 實(shí)驗(yàn)概述：數(shù)據(jù)集部分??

對(duì)于VDW數(shù)據(jù)集，我們比較了當(dāng)前已有的視頻深度數(shù)據(jù)集。我們的VDW數(shù)據(jù)集是目前體量最大、場(chǎng)景最豐富的自然場(chǎng)景視頻深度數(shù)據(jù)集。

我們還探究了使用不同數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練的效果，由于我們的VDW數(shù)據(jù)集具有最佳的體量和場(chǎng)景豐富度，因此對(duì)于相同的模型，使用VDW數(shù)據(jù)集進(jìn)行訓(xùn)練取得了最優(yōu)性能。

而對(duì)于數(shù)據(jù)集的統(tǒng)計(jì)實(shí)驗(yàn)，我們繪制了數(shù)據(jù)集的物體類別詞云，以及語(yǔ)義類別統(tǒng)計(jì)圖等。更多的數(shù)據(jù)集統(tǒng)計(jì)結(jié)果和示例請(qǐng)見論文和補(bǔ)充材料。

5. 代碼與數(shù)據(jù)集開源?

我們的代碼已經(jīng)開源：

https://github.com/RaymondWang987/NVDS

數(shù)據(jù)集正在搭建VDW的官方網(wǎng)站，并擬定相應(yīng)的開源協(xié)議，準(zhǔn)備好后會(huì)馬上進(jìn)行發(fā)布。我們的數(shù)據(jù)集體量較大，因此網(wǎng)站搭建和數(shù)據(jù)傳輸仍需要一定的時(shí)間，我們會(huì)對(duì)數(shù)據(jù)進(jìn)行分割并逐步上傳。VDW數(shù)據(jù)集可以被用于學(xué)術(shù)和研究用途，但不能用于商業(yè)用途。

編輯：黃飛