介紹一下我們最新開源的工作：FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators. 給定部分重疊的圖像和點(diǎn)云，F(xiàn)reeReg能夠估計(jì)可靠的像素-三維點(diǎn)同名關(guān)系并解算圖像-點(diǎn)云相對(duì)位姿關(guān)系。值得注意的是，F(xiàn)reeReg不需要任何訓(xùn)練/微調(diào)！

基于FreeReg估計(jì)的準(zhǔn)確的同名關(guān)系，我們可以把圖像patch投影到點(diǎn)云的對(duì)應(yīng)位置：

主頁：https://whu-usi3dv.github.io/FreeReg/

代碼：github.com/WHU-USI3DV/FreeReg

論文：https://arxiv.org/abs/2310.03420

太長不看（TL,DR）:

區(qū)別于現(xiàn)有方法利用Metric Learning直接學(xué)習(xí)跨模態(tài)(圖像和點(diǎn)云)一直特征，F(xiàn)reeReg提出首先進(jìn)行基于預(yù)訓(xùn)練大模型的模態(tài)對(duì)齊，隨后進(jìn)行同模態(tài)同名估計(jì)：

• Diffusion大模型實(shí)現(xiàn)點(diǎn)云到圖像模態(tài)的統(tǒng)一并構(gòu)建跨模態(tài)數(shù)據(jù)的粗粒度魯棒語義特征，

• 單目深度估計(jì)大模型實(shí)現(xiàn)圖像到點(diǎn)云模態(tài)的統(tǒng)一并刻畫跨模態(tài)數(shù)據(jù)的細(xì)粒度顯著幾何特征，

• FreeReg通過融合兩種特征，無需任何針對(duì)圖像-點(diǎn)云配準(zhǔn)任務(wù)的訓(xùn)練，實(shí)現(xiàn)室內(nèi)外圖像-點(diǎn)云配準(zhǔn)SoTA表現(xiàn)。

任務(wù)概述：圖像-點(diǎn)云（Image-to-point cloud, I2P）配準(zhǔn)

• 輸入：部分重疊的圖像和點(diǎn)云

• 輸出：圖像相機(jī)相對(duì)于點(diǎn)云的位置姿態(tài)

• 典型框架：

  • Step I (關(guān)鍵) : 構(gòu)建圖像-點(diǎn)云跨模態(tài)一致特征

  • Step II: 基于特征一致性的 pixel(from 圖像)-point(from 點(diǎn)云) 同名估計(jì)

  • Step III: 基于所構(gòu)建同名匹配的相對(duì)姿態(tài)估計(jì) (PnP+RANSAC)

• 現(xiàn)有方法往往是：用一個(gè)2D特征提取網(wǎng)絡(luò)提取圖像特征；用一個(gè)3D特征提取網(wǎng)絡(luò)提取點(diǎn)云特征；然后根據(jù)pixel-to-point對(duì)應(yīng)關(guān)系真值通過Metric Learning (Triplet/Batch hard/Circle loss/InfoCE...)的方式訓(xùn)練網(wǎng)絡(luò)去提取跨模態(tài)一致的特征，這存在幾個(gè)問題：

• 圖像和點(diǎn)云存在故有的模態(tài)差異：圖像-紋理、點(diǎn)云-幾何，這給網(wǎng)絡(luò)可靠收斂帶來了困難，而影響特征的魯棒性(Wang et al, 2021);

• 需要長時(shí)間的訓(xùn)練 (Pham，2020)；

• 場景間泛化能力弱 (Li，2023)。

• FreeReg:

• 通過預(yù)訓(xùn)練大模型實(shí)現(xiàn)模態(tài)對(duì)齊，消除模態(tài)差異，顯著提升特征魯棒性；

• 不需要任何針對(duì)I2P配準(zhǔn)任務(wù)的訓(xùn)練/微調(diào)；

• 能夠處理室內(nèi)外等多類型場景。

FreeReg pipeline:

Section I: FreeReg-D

在這一部分，我們首先利用Diffusion大模型將點(diǎn)云對(duì)齊到圖像模態(tài)，然后基于圖像模態(tài)下的特征進(jìn)行同名估計(jì)。Naive Solution：利用現(xiàn)在圖像生成大殺器的ControlNet (Zhang et al, 2023; depth-to-image diffusion model)實(shí)現(xiàn)從點(diǎn)云(深度圖)中渲染出一個(gè)圖像，然后和query圖像做match不就行了？不行！如下圖，一個(gè)depth map可能對(duì)應(yīng)各種各樣的RGB圖像，ControlNet基于點(diǎn)云渲染出來的圖像合理，但是和query input image差異忒大，match不起來。

但是，我們注意到，ControlNet雖然生成的紋理和query差異很大，但是語義很正確而且和query RGB是對(duì)應(yīng)的，那么我們?cè)趺刺崛∵@種跨模態(tài)一致的語義特征呢？受到相關(guān)研究的啟發(fā)（Mingi et al, 2022）一種基于Diffusion大模型的多模特Diffusion Feature

• RGB image diffusion feature：預(yù)訓(xùn)練圖像生成大模型Stable Diffusion (SD，Dhariwal et al,2022)能夠通過迭代T步去噪的方式從純?cè)肼暽梢粡埛夏撤Ntext-prompt（包含一些代表語義的名詞）的圖像，證明它能認(rèn)識(shí)、區(qū)分和表征這些語義。而我們就把圖像加上一些噪聲讓SD去處理，然后看看哪些SD深層特征具有語義性。

• Depth diffusion feature：我們用預(yù)訓(xùn)練的ControlNet處理來自點(diǎn)云投影的深度圖，并基于其引導(dǎo)SD的圖像生成(迭代去噪)過程使生成的圖像符合深度圖，當(dāng)去噪到某種程度時(shí)候我們把SD的中間層特征拿出來，看看哪些特征保證了生成圖像不僅符合深度圖而且語義性也是對(duì)的。

• 如上圖的c，我們發(fā)現(xiàn)，SD的0-6層輸出特征具有可靠的語義性和跨模態(tài)一致性！后面的特征才關(guān)注紋理。所以我們之用0-6層的特征（我們最終選擇concate0,4,6層的特征）作為我們的語義特征就好了，叫做Diffusion Feature！

Section II: FreeReg-G

在這一部分，我們利預(yù)訓(xùn)練的單目深度估計(jì)網(wǎng)絡(luò)Zoe-Depth (Bhat et al, 2023)去恢復(fù)input RGB的深度，并將其恢復(fù)到3D點(diǎn)云分布，然后對(duì)RGB恢復(fù)的點(diǎn)云和input點(diǎn)云分別提取幾何特征（Geometric feature， Choy et al, 2019）用于match。此外，由于match得到的同名關(guān)系存在于點(diǎn)云空間，我們的變換估計(jì)可以采用Kabsch算法而非PnP方法，Kabsch利用Zoe-depth預(yù)測深度的約束可以僅使用3對(duì)同名關(guān)系就實(shí)現(xiàn)變換解算，更高效、更可靠，但是受到Zoe的影響不太精準(zhǔn)（具體可以間我們的原文）。

Section III: FreeReg = FreeReg-D + FreeReg-G

在這一部分，我們?nèi)诤锨懊嬖诓煌B(tài)空間中提取的Diffusion Feature和Geometric Feature，作為我們最終的跨模特特征。如下圖所示：

• Diffusion Feature具有很強(qiáng)的語義相關(guān)性和跨模特一致的可靠性，但是因?yàn)檎Z義信息關(guān)聯(lián)自圖像的比較大的區(qū)域，這種大感受野使得基于特征相似性和雙向最近鄰篩選得到的pixel-to-point同名對(duì)準(zhǔn)確但是稀疏。

• Geometric Feature能夠關(guān)注幾何細(xì)節(jié)構(gòu)建更加dense的pixel-to-point correspondences，但是很容易受到zoe-depth預(yù)測誤差和噪聲的影響，導(dǎo)致得到的pixel-to-point同名對(duì)存在大量的outliers。

• 通過Fuse兩種特征(L2 normalization + weighted concatenate, Zhang et al, 2023)，F(xiàn)reeReg特征兼具語義可靠性和幾何顯著性，得到了更加可靠且dense的pixel-to-point correspondences！

實(shí)驗(yàn)結(jié)果：

定性評(píng)價(jià)：得益于大模型模態(tài)對(duì)齊，F(xiàn)reeReg-D/G在沒有任何訓(xùn)練和微調(diào)的情況下，就在室內(nèi)外三個(gè)數(shù)據(jù)集上取得了SoTA表現(xiàn)，而FreeReg進(jìn)一步提升算法表現(xiàn)，取得了平均20%的內(nèi)點(diǎn)比例提升和48.6%的配準(zhǔn)成功率提升！

定量評(píng)價(jià)：

更多的結(jié)果：實(shí)現(xiàn)細(xì)節(jié)、消融實(shí)驗(yàn)、精度評(píng)價(jià)、同模態(tài)配準(zhǔn)表現(xiàn)（也是SoTA?。?、和同期工作的比較（FreeReg更優(yōu)）、尚存問題請(qǐng)見我們的論文！