1. 寫在前面

在LiDAR場景中標(biāo)注3D目標(biāo)非常繁瑣，今天筆者為大家推薦一篇加速3D標(biāo)注的最新工作iDet3D。這個交互式的標(biāo)注算法支持2D界面，可以以最少的交互來標(biāo)注每個場景中的整個目標(biāo)。

下面一起來閱讀一下這項工作~

2. 摘要

對LiDAR場景中的多個三維物體進(jìn)行精確標(biāo)注是一項費力且具有挑戰(zhàn)性的工作。盡管先前的一些研究試圖利用半自動方法來進(jìn)行具有成本效益的邊界框標(biāo)注，但這些方法在有效地處理大量多類對象方面具有局限性。為了有效加速3D標(biāo)注流水線，我們提出了一種高效的交互式3D目標(biāo)檢測器iDet3D。iDet3D支持用戶友好的2D界面，可以減輕探索3D空間提供點擊交互的認(rèn)知負(fù)擔(dān)，使用戶能夠以最少的交互來標(biāo)注每個場景中的整個物體。考慮到三維點云的稀疏性，我們設(shè)計了負(fù)點擊模擬( negative click simulation，NCS )，通過減少假陽性預(yù)測來提高精度。此外，iDet3D結(jié)合了兩種點擊傳播技術(shù)，以充分利用用戶交互：( 1 )密集點擊引導(dǎo)( DCG )，用于在整個網(wǎng)絡(luò)中保存用戶提供的信息；( 2 )空間點擊傳播( SCP )，用于根據(jù)用戶指定的對象檢測同一類的其他實例。通過我們的大量實驗，我們發(fā)現(xiàn)我們的方法可以在少量的點擊中構(gòu)建精確的注釋，這表明了我們的方法作為三維物體檢測的有效注釋工具的實用性。

3. 效果展示

iDet3D中點擊編碼的可視化示例：(a) 輸入點云和用戶點擊(紅色箭頭)。(b) 在目標(biāo)對象上突出顯示相應(yīng)的基于距離編碼的用戶交互。

看一下具體標(biāo)注過程：( a ) 給定輸入點云。( b ) 提供對行人的正向點擊(紅色圓圈)，iDet3D在一次點擊中檢測到場景中多個不同類別的物體。( c )在第2次迭代中，通過增加一個負(fù)點擊(藍(lán)色圓圈)，可以一次性過濾掉假陽性預(yù)測。( d )真值。在幾次迭代內(nèi)，就可以獲得高質(zhì)量的標(biāo)注結(jié)果。

4. 具體原理是什么？

考慮到3D點云的稀疏性質(zhì)，iDet3D設(shè)計了負(fù)點擊模擬 (NCS)，通過減少誤報預(yù)測來提高準(zhǔn)確性。還結(jié)合了兩種點擊傳播技術(shù)來充分利用用戶交互：(1) 密集點擊引導(dǎo) (DCG)，用于在整個網(wǎng)絡(luò)中保留用戶提供的信息；(2) 空間點擊傳播 (SCP)，用于檢測其他實例。

iDet3D的訓(xùn)練流程。給定用戶對目標(biāo)對象的點擊，將點擊轉(zhuǎn)化為點擊編碼。( a )密集點擊引導(dǎo)( DCG )在輸入端和中間層將編碼融合到骨干網(wǎng)架構(gòu)中。( b )負(fù)點擊模擬( Negative Click Simulation，NCS )通過選擇具有高前景分?jǐn)?shù)的具有挑戰(zhàn)性的背景點來隨機模擬可能的負(fù)點。( c )后續(xù)的空間點擊傳播( Spatial Click Propagation，SCP )模塊根據(jù)特征嵌入之間的相似性，有效地傳播用戶點擊來檢測同一類的其他對象。

利用空間點擊傳播( SCP )模塊生成關(guān)聯(lián)圖的實例：( a )點擊關(guān)于N個輸入點的汽車對象(紅色箭頭)上的編碼E。( b )對N′個降采樣點(經(jīng)過降采樣層從N點降至N′點)點擊編碼E′。( c )由SCP生成的點擊相關(guān)圖M和( d )與真實3D邊界框覆蓋的可視化。注意，與點擊同一類的點在輸出的相關(guān)圖中被突出顯示。

5. 和其他SOTA方法對比如何？

baseline和iDet3D在KITTI val集上的定量結(jié)果。

nuScenes數(shù)據(jù)集的基線和iDet3D ( IA-SSD Backbone)的定量結(jié)果。

6. 總結(jié)

這篇文章提出了第一個交互式3D目標(biāo)檢測器iDet3D，能夠在幾次點擊中檢測出大量的多類物體。iDet3D設(shè)計了NCS來過濾通過負(fù)點擊產(chǎn)生的假陽性預(yù)測，以及兩個點擊傳播模塊( DCG和SCP)來為用戶提供指導(dǎo)。但是在這項工作中，iDet3D僅對單幀圖像進(jìn)行分析，忽略了連續(xù)幀之間的互補信息。未來作者將考慮處理多個連續(xù)幀之間需要對齊的點嵌入，進(jìn)一步改進(jìn)iDet3D。