0. 筆者個人體會

單目深度估計網絡可以估計RGB圖像的稠密深度圖，但大家可以發現大多數模型的深度圖并不準確，尤其是物體邊界的深度值非常模糊。而且很多深度估計模型只能處理分辨率很小的圖像，圖像一大就模糊。這就會導致SLAM/SfM等任務生成的3D場景的物體邊界質量非常差。

今天筆者將為大家分享一項最新的開源工作PatchFusion，可以產生極高分辨率的單目深度圖，還可以助力之前的SOTA方案ZoeDepth等網絡漲點！

1. 效果展示

可以看一下單目深度估計效果，這個深度圖的分辨率是真的高，物體邊界分割的非常干凈！

2. 具體原理是什么？

PatchFusion是基于圖塊的框架，具有三個關鍵組件：

（1）patch式融合網絡，通過高層將全局一致的粗略預測與更精細、不一致的圖塊預測融合到一起；

（2） 全局到局部 (G2L) 模塊，為融合網絡添加重要上下文，無需patch選擇啟發式方法；

（3） 一致性感知訓練 (CAT) 和推理 (CAI) 方法，強調patch重疊一致性，從而消除后處理。

3. 和其他SOTA方法對比如何？

分別在UnrealStereo4K、MVS-Synth 和 Middleburry 2014 上做了實驗，證明PatchFusion可以生成具有復雜細節的高分辨率深度圖。

更重要的一點是，PatchFusion可以增強之前的SOTA方案 ZoeDepth，在 UnrealStereo4K 和 MVS-Synth 上的均方根誤差 (RMSE)分別提高了 17.3% 和 29.4%。

審核編輯：黃飛