（文章來源：青亭網）

近期正在韓國首爾國際計算機視覺大會(ICCV)上，一大波的AI研究繼而公布，Facebook計劃發表40多篇論文，其中我們關注到2D照片下三維場景重建與內容理解，等等3D圖像分析的研究。這些有什么作用呢，我們知道隨著5G技術和千兆寬帶的普及，屆時的互聯網媒介形式勢必也會迎來改變，其中以AR/VR體驗的三維形態的媒體內容被看作重點方向。

隨著場景形態逐漸向三維轉變，屆時將會迎來一個高度逼真的虛擬世界，而三維內容的理解也將變得更為重要。例如現在的AI技術可以很好的識別2D照片/視頻中的物體、動作等等，而到了三維場景中又會迎來新的玩法。Facebook AI研究院今天發布的一篇博客中，著重提到了其在3D內容理解上的努力。

以下的幾項研究，正在以不同但互補的方式來推進三維場景解析技術的發展。1，Mesh R-CNN，一種可以精準預測現實環境中2D圖像中物體的3D形狀的框架，其可以檢測復雜的對象，比如椅子腿兒、被遮擋的家具等;2，C3DPO，一種在2D關鍵點注釋中，提取出可變性對象的3D模型的方法，已用于14個類別的對象，通過2D關鍵點標注實現，無3D標注信息;

3，通過新方法學習圖像像素與3D形狀之間的關聯，大大降低對注釋訓練的依賴，從而更接近可以實現更多種類對象3D重建的自我監督系統;4，VoteNet技術，可在LiDAR或其它3D傳感器輸入可用時，進行對象檢測，該系統完全基于3D點云技術，精度更高。

包括Mask R-CNN在內的很多圖像解析AI框架，往往是在2D環境中進行工作，在3D環境下可能并不適用。不過，憑借2D環境中的感知技術作為積累，Facebook重新設計了一個3D對象重建的AI模型。該模型的特點是可在現實的場景圖片中去預測3D對象的形狀，而這其中的挑戰在于光學部分，例如：是否有遮擋，是否有雜波以及其它拓撲的對象。

為了應對挑戰，首先通過網格預測分支加強Mask R-CNN在2D對象分割系統，并構建Totch3d(Pytorch庫)從而實現：Mesh R-CNN，其通過Mask R-CNN進行對象的檢測和分類。然后通過新型網絡預測模型推測3D形狀，該預測包含體素預測和網格細化共同構成。最后通過Detectron2完成整套框架的結構，即：輸入RGB圖像--檢測物體--預測3D形狀的過程。

其中特定部分(例如人體關鍵、鳥翅膀)的2D關鍵點，成為了該方法中重新構建對象幾何形狀、變形或視點變化的線索。這些3D關鍵點利用價值也很高，例如在VR中創建逼真的面部和全身網格模型時。簡單來講，C3DPO是一種能重建包括數十萬具有上千個2D關鍵點的數據集方法，并且針對三種不同的數據集、14種以上的非剛性物體類別，進行精度重建。另外，和Mesh R-CNN類似，C3DPO同樣支持那些有遮擋或部分缺失圖像。

而C3DPO模型還具備兩個創新，一是，在給定一組單眼2D關鍵點的情況下，C3DPO將以標準方向預測相機視點的參數和3D關鍵點位置;二是，Facebook提出一個新的正則化技術，其包括與3D重建網絡模型共同學習的第二個輔助深度模型，它解決了因分解3D視點和形狀帶來的沖突。正是基于這兩項創新，才是C3DPO的方法比傳統的數據統計模型表現更好。

根據Facebook描述，這種3D模型構建在以前是無法實現的，主要由于此前基于矩陣式分解的方法有很多限制，與C3DPO采用的深度網絡模型不同，其能夠“小規?！边\行。為了解決3D重建帶來的變形問題，此前往往通過同一時間多張圖像合成解決，這對硬件要求更高，而C3DPO則可以在硬件無法進行3D拍攝(例如飛機等體型特別大的物體)的情況下實現3D重建。

另外還有從圖像集學習圖形像素與形狀的映射關系，以及提升3D系統中對象檢測能力的兩個論文本文不再解讀，感興趣可閱讀原文了解?？偠灾?，3D計算機視覺領域還有很多值得探究的領域，還有很多問題尚未被解決，還需要像此前進行2D計算機視覺探索那樣繼續前行。

隨著數字世界的不斷推進，我們將會轉向使用3D照片、AR、VR等技術，因此未來需要更準確的理解場景中對象、交互動作等一系列復雜的問題。Facebook表示：能夠開發出向人類一樣理解現實世界，并與之互動的AI系統是其長期目標。誠然，這就需要不斷縮小物理空間和數字化的虛擬空間之間的隔閡與距離，而在3D視覺方面就還有很多工作需要大家共同努力。
? ? ?（責任編輯：fqj）