摘要
?大家好，今天為大家帶來的文章是?MVSNeRF: Fast Generalizable Radiance Field Reconstruction?from Multi-View Stereo 我們提出了MVSNeRF，一種新型的神經渲染方法，可以有效地重建用于視圖合成的神經輻射場。與之前考慮在密集拍攝的圖像上進行每個場景優化的神經輻射場的工作不同，我們提出了一個通用的深度神經網絡，它可以通過快速的網絡推理，僅從三個附近的輸入視圖中重建輻射場。我們的方法利用平面掠過成本體積（廣泛用于多視圖立體聲）進行幾何感知的場景推理，并將其與基于物理的體積渲染結合起來進行神經輻射場重建。

我們在DTU數據集中的真實物體上訓練我們的網絡，并在三個不同的數據集上測試它，以評估其有效性和通用性。我們的方法可以跨場景通用（甚至是室內場景，與我們的物體訓練場景完全不同），并且只用三張輸入圖像就能產生真實的視圖合成結果，大大超過了同時進行的可通用的輻射場重建工作。此外，如果捕捉到密集的圖像，我們估計的輻射場表示可以很容易地進行微調；這成就了快速的按場景重建，具有更高的渲染質量，而且優化時間大大少于NeRF。

主要工作與貢獻

? - 提出了基于MVSNet的神經輻射場進行三維重建渲染。 - 在速度和質量上有了很大的提升。

算法流程

我們現在介紹我們的MVSNeRF。與NeRF通過每個場景的 "網絡記憶 "來重建輻射場不同，我們的MVSNeRF學習一個通用網絡來重建輻射場。給定真實場景的M個輸入拍攝圖像Ii（i=1，...，M）及其已知的相機參數Φi，我們提出了一個新穎的網絡，可以將輻射場重建為一個神經編碼體，并使用它在任意場景位置回歸體的渲染屬性（密度和與視圖有關的輻射度），以進行視圖合成。一般來說，我們的整個網絡可以被看作是輻射度場的函數，表示為：

我們的框架首先通過將二維圖像特征扭曲到一個平面掃描上構建一個成本體積（a）。然后我們應用三維CNN來重建一個具有每體素神經特征的神經編碼體（b）。我們使用MLP在任意位置使用從編碼體積內插的特征對體積密度和RGB輻射度進行回歸。這些體積特性被微分光線行進法用于最終渲染（c）。

Cost?Volume重建

求解Cost Volume的過程和雙目立體矯正類似，首先提取圖像特征，然后計算成本量P。成本量P是由D掃面上的扭曲特征圖構建的。我們利用基于方差的度量來計算成本，這在MVSNet中已經被廣泛用于幾何重建。具體來說，對于P中以(u, v, z)為中心的每個體素，其成本特征向量的計算方法是：

2.輻射場重建

我們建議使用深度神經網絡來有效地將構建的成本量轉換為重建的輻射場，以實現現實的視圖合成。我們利用一個三維CNN B，從原始二維圖像特征成本的成本卷P中重建一個神經編碼卷S；S由編碼局部場景幾何和外觀的每體素特征組成。一個MLP解碼器A被用來從這個編碼體積中回歸體積渲染屬性。

神經編碼量。

以前的MVS通常直接從成本體積中預測深度概率，而成本體積只表達場景的幾何。我們的目標是實現高質量的渲染，這就需要從成本體積中推斷出更多的外觀感知信息。因此，我們訓練一個深度三維CNN B，將建立的圖像特征成本體積轉化為一個新的C通道神經特征體積S，其中特征空間是由網絡本身學習和發現的，用于以下體積屬性回歸。這個過程用以下方式表示。

三維CNN B是一個具有下采樣和上采樣卷積層和跳過連接的三維UNET，它可以有效地推斷和傳播場景外觀信息，導致一個有意義的場景編碼體積S。注意，這個編碼體積是以無監督的方式預測的，并在端到端訓練中推斷出體積渲染。我們的網絡可以學習在每體素的神經特征中編碼有意義的場景幾何和外觀；這些特征后來被連續插值并轉化為體積密度和視圖依賴的輻射度。由于二維特征提取的下采樣，場景編碼體積的分辨率相對較低；僅從這些信息中回歸高頻外觀是具有挑戰性的。因此，在接下來的體積回歸階段，我們還加入了原始圖像像素數據，盡管我們后來表明，這種高頻也可以通過快速的按場景微調優化在增強的體積中得到恢復。 3.端到端的體素渲染 端到端訓練。這種光線行進渲染是完全可分的；因此它允許我們的框架在新的視點使用三個輸入視圖從頭到尾回歸最終的像素顏色。我們使用L2渲染損失對我們的整個框架進行監督，并使用基礎像素顏色。

由于基于物理的體積渲染和端到端訓練，渲染監督可以通過每個網絡組件傳播場景外觀和對應信息，并將其正則化，以便為最終的視圖合成提供意義。與之前主要關注每個場景訓練的NeRF不同，我們在DTU數據集的不同場景中訓練整個網絡。我們的MVSNeRF得益于成本體積處理中的幾何感知場景推理，可以有效地學習一個通用函數，該函數可以在新的測試場景上將輻射場重建為神經編碼體積，從而實現高質量的視圖合成。

4.優化神經編碼量。

當跨場景訓練時，我們的MVSNeRF已經可以學習一個強大的通用函數，只用三張輸入圖像就可以重構跨場景的輻射場。然而，由于有限的輸入和不同場景和數據集之間的高度多樣性，使用這樣一個通用的解決方案在不同場景上取得完美的結果是非常具有挑戰性的。另一方面，NeRF通過對密集的輸入圖像進行每個場景的優化，避免了這一難以概括的問題；這導致了逼真的結果，但成本極高。相比之下，我們建議對我們的神經編碼量進行微調--我們的網絡可以從很少的圖像中立即重建，以便在捕獲密集的圖像時實現快速的按場景優化。

添加顏色。

如前所述，我們的神經編碼量在發送到MLP解碼器時與像素顏色相結合。保留這種微調的設計仍然有效，但會導致重建總是依賴于三個輸入。取而代之的是，我們通過將體素中心的每一視角的顏色作為額外的通道附加到編碼量中來實現獨立的神經重建；這些顏色作為特征也可以在每個場景的優化中進行訓練。這種簡單的附加最初在渲染中引入了模糊性，但在微調過程中很快就能解決。

優化。

在添加了顏色之后，MLP的神經編碼量是一個體面的初始輻射場，已經可以合成合理的圖像。我們建議在有密集圖像的情況下，與MLP解碼器一起進一步微調體素特征，以進行快速的按場景優化。請注意，我們只優化編碼量和MLP，而不是我們的整個網絡。這賦予了神經優化更多的靈活性，以便在優化時獨立調整每個體素的局部神經特征；這比試圖優化跨體素的共享卷積操作更容易。

實驗結果

編輯：黃飛