色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深入解析SAMPro3D的三維場景零樣本分割技術(shù)

jf_pmFSk4VX ? 來源:GiantPandaCV ? 2024-01-26 14:31 ? 次閱讀

2. 引言

這篇論文提出了一種創(chuàng)新的3D室內(nèi)場景分割方法,這在增強現(xiàn)實、機器人技術(shù)等領(lǐng)域是一個關(guān)鍵的任務(wù)。該任務(wù)的核心是從多種3D場景表現(xiàn)形式(如網(wǎng)格或點云)中預(yù)測3D物體掩膜。歷史上,傳統(tǒng)方法在分割訓(xùn)練過程中未遇到的新物體類別時常常遇到困難,這限制了它們在陌生環(huán)境中的有效性。

最近的進展,如Segment Anything Model(SAM),在2D圖像分割方面顯示出潛力,能夠在無需額外訓(xùn)練的情況下分割陌生的圖像。本文探討了將SAM原理應(yīng)用于3D場景分割的可能性,具體研究了是否可以直接將SAM應(yīng)用于2D幀,以分割3D場景,而無需額外訓(xùn)練。這一探索基于SAM的一個獨特特點:它的提示功能,即它接受各種輸入類型來指定圖像中的分割目標。

作者指出了一個關(guān)鍵挑戰(zhàn):確保同一3D物體在不同幀中的2D分割的一致性。他們觀察到,像SAM3D這樣的現(xiàn)有方法,它將自動化SAM應(yīng)用于單個幀,但在不同幀中存在不一致性,導(dǎo)致3D分割效果不佳。另一種方法,SAM-PT,在視頻跟蹤中效果顯著,但在3D場景中失敗,因為物體并非始終出現(xiàn)在所有幀中。

為了應(yīng)對這些挑戰(zhàn),論文提出了一個名為SAMPro3D的新框架,該框架在輸入場景中定位3D點作為SAM提示。這些3D提示被投影到2D幀上,確保了跨幀一致的像素提示和相應(yīng)的掩膜。這種方法確保了同一3D物體在不同視角下的分割掩膜的一致性。

SAMPro3D首先初始化3D提示,使用SAM在各個幀中生成相應(yīng)的2D掩膜。然后,它根據(jù)所有幀中相應(yīng)掩膜的質(zhì)量過濾3D提示,優(yōu)先選擇在所有視圖中都能產(chǎn)生高質(zhì)量結(jié)果的提示。為了解決部分物體分割的問題,該框架合并了重疊的3D提示,整合信息以實現(xiàn)更全面的分割。SAMPro3D累積跨幀的預(yù)測結(jié)果,以得出最終的3D分割。值得注意的是,該方法不需要額外的領(lǐng)域特定訓(xùn)練或3D預(yù)訓(xùn)練網(wǎng)絡(luò),這保持了SAM的零樣本能力,是之前方法所不具備的顯著優(yōu)勢。

該論文通過廣泛的實驗驗證了SAMPro3D的有效性,展示了它在實現(xiàn)高質(zhì)量和多樣化分割方面的能力,通常甚至超過了人類級別的標注和現(xiàn)有方法。此外,它還展示了在2D分割模型(如HQ-SAM和Mobile-SAM)中的改進可以有效地轉(zhuǎn)化為改進的3D結(jié)果。這篇論文為3D室內(nèi)場景分割引入了一種開創(chuàng)性的方法,巧妙地利用了2D圖像分割模型的能力,并將其創(chuàng)新地應(yīng)用于3D領(lǐng)域。結(jié)果是一種強大的、零樣本的分割方法,顯著推進了3D視覺理解領(lǐng)域的最新發(fā)展。

3. 方法

78209588-bb7a-11ee-8b88-92fbcf53809c.png

本文提出的方法名為SAMPro3D,旨在直接應(yīng)用Segment Anything Model (SAM) 對室內(nèi)場景的3D點云及其關(guān)聯(lián)的2D幀進行零樣本3D場景分割。

3D Prompt Proposal

首先,針對一個3D場景的點云 ,包含 個點,我們使用最遠點采樣(Furthest-Point Sampling, FPS)從中采樣 個點作為初始3D提示 。FPS幫助我們實現(xiàn)了場景中物體的良好覆蓋。簡化地,我們用 和 分別表示單個輸入點和一個3D提示。

接著,我們僅考慮針孔相機配置。具體來說,給定幀 的相機內(nèi)參矩陣 和世界到相機的外參矩陣 ,我們通過以下公式計算點提示 的對應(yīng)像素投影 :

其中, 和 分別是 和 的齊次坐標。我們通過深度值執(zhí)行遮擋測試,以確保當且僅當點 在幀 中可見時,像素 才有效。

然后,在圖像幀上執(zhí)行SAM分割。SAM能接受像素坐標、邊界框或掩膜等多種輸入,并預(yù)測與每個提示相關(guān)的分割區(qū)域。在我們的框架中,我們將所有計算出的像素坐標用于提示SAM,并在所有幀上獲取2D分割掩膜。通過在3D空間中定位提示,源自不同幀但由同一3D提示投影的像素提示將在3D空間中對齊,從而帶來幀間一致性。

2D-Guided Prompt Filter

784d69fa-bb7a-11ee-8b88-92fbcf53809c.png

在之前的提示初始化過程中,某些提示可能會生成低質(zhì)量且冗余的掩膜,這將降低最終結(jié)果的質(zhì)量。為解決這個問題,我們引入了一個機制來“收集所有幀的反饋”。我們首先采用自動化SAM提出的策略在每個單獨的幀上過濾提示。基本上,這種策略會消除那些對應(yīng)掩膜置信度低或與其他掩膜重疊度大的提示。如果一個3D提示 在某幀中有有效的像素投影 ,則它的計數(shù)器 會增加。如果該提示在該幀的過濾階段成功存活,則它的得分 會累積。在評估所有幀后,我們計算保留一個3D提示的概率 ,并在其概率超過預(yù)定義閾值 時保留該提示。這個算法使我們能夠通過考慮所有2D視圖的反饋來"讓所有幀都滿意"。它優(yōu)先選擇高質(zhì)量的提示,同時在幀間保持提示的一致性,最終提升3D分割結(jié)果。

Prompt Consolidation

有時,由單個3D提示對齊的2D掩膜可能只分割了對象的一部分,因為2D幀的覆蓋范圍有限。為解決這個問題,我們設(shè)計了一個提示合并策略。該策略涉及檢查不同3D提示生成的掩膜,并識別它們之間的一定重疊。在這種情況下,我們認為這些提示可能正在分割同一個對象,并將它們合并為單個偽提示。這個過程促進了提示間信息的整合,導(dǎo)致更全面的對象分割。

3D Scene Segmentation

在前面的步驟之后,我們獲得了最終的3D提示集合及其在幀間的2D分割掩膜。此外,我們還確保了每個3D對象由單個提示分割,允許提示ID自然地作為對象ID。

為了分割3D場景中的所有點,我們繼續(xù)將 extit{所有}場景輸入點投影到每個分割幀上,并使用以下步驟計算它們的預(yù)測:對于場景中的每個單獨輸入點 ,如果它被投影到幀 中由提示 分割的掩膜區(qū)域內(nèi),我們將其在該幀中的預(yù)測指定為提示ID 。我們累積 在所有幀中的預(yù)測,并根據(jù)最多次分配給它的提示ID確定其最終預(yù)測ID。通過對所有輸入點重復(fù)此過程,我們可以實現(xiàn)輸入場景的完整3D分割。

4. 實驗

786c94e2-bb7a-11ee-8b88-92fbcf53809c.png

從這個表格中提供的實驗數(shù)據(jù)中,我們可以得出一些結(jié)論關(guān)于3D室內(nèi)場景分割性能。這些數(shù)據(jù)基于ScanNet200數(shù)據(jù)集的標注,評價指標是mIoU(mean Intersection over Union),一個常用的衡量圖像分割效果的指標。

與其他方法的比較:在mIoU 和mIoU 這兩個指標上,我們的方法與其他兩個主要對比方法Mask3D和SAM3D相比,表現(xiàn)更優(yōu)。特別是在mIoU 上,我們的方法達到了82.60%,高于Mask3D的79.03%和SAM3D的74.82%。

過濾和合并提示的重要性:不使用2D引導(dǎo)的提示過濾(w/o Fil.)和不使用提示合并(w/o Con.)的情況下,性能有所下降,這表明這兩個步驟對于最終的分割效果是重要的。

提示數(shù)量的影響:在不同數(shù)量的提示下(即 ),我們的方法表現(xiàn)出相對穩(wěn)定的性能,其中使用時性能最佳。

投票機制的影響:在提示過濾時使用的兩種不同投票機制(soft和top-k)中,soft策略略優(yōu)于top-k策略,尤其是在mIoU 指標上。

增強SAM的作用:引入HQ-SAM(+HQ.)和Mobile-SAM(+Mob.)后,可以觀察到性能提升,尤其是HQ-SAM,它在mIoU 指標上達到了83.19%,顯示了進一步優(yōu)化SAM模型在3D室內(nèi)場景分割中的潛力。

這些實驗結(jié)果表明,本文提出的方法在3D室內(nèi)場景分割任務(wù)上具有強大的性能,尤其是在采用2D引導(dǎo)的提示過濾和提示合并策略,以及進一步增強SAM模型時。此外,這些結(jié)果還揭示了不同提示數(shù)量和投票機制對性能的影響,以及優(yōu)化3D提示的潛力。

5. 討論

788905aa-bb7a-11ee-8b88-92fbcf53809c.png

這篇論文在3D室內(nèi)場景分割領(lǐng)域提出了一種創(chuàng)新的方法,展示了顯著的性能提升,尤其是在處理具有挑戰(zhàn)性的零樣本場景時。其主要優(yōu)勢在于有效地利用了Segment Anything Model(SAM),通過一系列精心設(shè)計的步驟,如3D提示提議、2D引導(dǎo)的提示過濾和提示合并策略,來改善3D場景的分割效果。這種方法充分利用了SAM在2D圖像分割領(lǐng)域的強大能力,并巧妙地將其擴展到3D場景,顯示了跨領(lǐng)域應(yīng)用的巨大潛力。

特別是,該方法通過3D提示的初始化和精確過濾,確保了3D分割的精度和一致性。此外,通過集成HQ-SAM和Mobile-SAM,該方法進一步提升了其性能,顯示了在不斷發(fā)展的深度學(xué)習(xí)領(lǐng)域中,通過集成新技術(shù)以適應(yīng)更復(fù)雜應(yīng)用場景的重要性。

然而,該方法也存在一些潛在的限制。首先,盡管實驗結(jié)果表明該方法在多個指標上表現(xiàn)出色,但它依賴于SAM模型,這可能限制了其在沒有大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)時的適用性。此外,3D提示的初始化和過濾策略雖然有效,但可能需要顯著的計算資源,尤其是在處理大規(guī)模或復(fù)雜的3D場景時。此外,該方法的泛化能力尚需在更多不同類型的3D場景中進行測試和驗證。

綜上所述,盡管這篇論文在3D室內(nèi)場景分割方面取得了顯著進展,但其依賴于特定的深度學(xué)習(xí)模型和可能需要較高計算資源的處理流程,這些因素可能會影響其在實際應(yīng)用中的廣泛可行性。

6. 結(jié)論

78a95b8e-bb7a-11ee-8b88-92fbcf53809c.png

總的來說,這篇論文提出了一種創(chuàng)新且有效的方法,用于提升3D室內(nèi)場景分割的準確度和效率。其通過集成先進的2D圖像分割模型并將其擴展到3D領(lǐng)域,展示了顯著的性能提升。盡管存在一些潛在的限制,如對預(yù)訓(xùn)練數(shù)據(jù)的依賴和高計算資源需求,但這項工作無疑為3D視覺理解領(lǐng)域帶來了新的見解和方法。

審核編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關(guān)注

    關(guān)注

    212

    文章

    29080

    瀏覽量

    210409
  • 圖像分割
    +關(guān)注

    關(guān)注

    4

    文章

    182

    瀏覽量

    18146
  • 增強現(xiàn)實
    +關(guān)注

    關(guān)注

    1

    文章

    719

    瀏覽量

    45235

原文標題:三維場景零樣本分割新突破:SAMPro3D技術(shù)解讀

文章出處:【微信號:GiantPandaCV,微信公眾號:GiantPandaCV】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏

    評論

    相關(guān)推薦

    三維觸控技術(shù)突破“二向箔”的束縛

    》中被二向箔擊中的文明一。很自然地,我們會想到:既然人類生活在三維的空間里,為什么用戶與設(shè)備的交互只能是在二空間里呢?有沒有可能實現(xiàn)三維的交互方法呢?要實現(xiàn)
    發(fā)表于 12-19 15:53

    三維快速建模技術(shù)三維掃描建模的應(yīng)用

    相關(guān)處理,構(gòu)建其三維模型和對模型進行紋路映射,最終完成物體的三維模型構(gòu)建。該三維掃描建模流程方法對復(fù)雜物件的三維建模可取得較好的效果。 同時,三維
    發(fā)表于 08-07 11:14

    Handyscan三維掃描儀機械部件三維掃描抄數(shù)服務(wù)

    的樣件進行了分析,在和技術(shù)溝通完其主要的需求后,我們向客戶推薦了這款便攜式的Handyscan SAOMIAO3D,CN激光三維掃描儀。 因客戶平時測量的是這類圓形產(chǎn)品,需要對其形狀和一些孔位進行尺寸
    發(fā)表于 07-21 16:52

    SMARTSCAN三維掃描儀電子產(chǎn)品配件三維掃描服務(wù)

    后,3天內(nèi)給出完整的CAD數(shù)據(jù)。跟據(jù)與客戶的深入溝通后,我司就采用了這款最新的smartscansaomiao3d,cn桌面型全自動三維掃描儀對工件進行了抄數(shù),并根據(jù)掃描后的
    發(fā)表于 09-17 16:16

    基于Creator的三維場景優(yōu)化技術(shù)的應(yīng)用

    高質(zhì)量的三維場景是虛擬現(xiàn)實系統(tǒng)中重要的組成部分,在三維場景的處理中存在兩個主要問題:一是載入場景文件要花費很多時間;二是即使在高性能的PC
    發(fā)表于 08-13 10:31 ?8次下載

    三維立體視覺技術(shù)的應(yīng)用及其三維恢復(fù)方法介紹

    感知與建模、機器人導(dǎo)航、雙目物體跟蹤與檢測以及圖像分割等領(lǐng)域。 三維立體視覺就是研究由2D圖像恢復(fù)場景目標即3D信息的一門學(xué)科。目前用于
    發(fā)表于 10-20 11:51 ?5次下載

    3D動畫技術(shù)在計算機三維技術(shù)中實現(xiàn)了不斷發(fā)展

    、建模動畫、雕刻渲染、產(chǎn)品宣傳等三維動畫技術(shù)。商迪3D運用Blender軟件技術(shù),創(chuàng)作了高質(zhì)量的三維動畫產(chǎn)品擁有著全方面展示作品、隨意旋轉(zhuǎn)角度、場景
    發(fā)表于 12-25 16:28 ?1071次閱讀

    3D三維可視化虛擬現(xiàn)實技術(shù)應(yīng)用于玉雕器皿

    三維可視化技術(shù)、VR線上虛擬現(xiàn)實技術(shù)、H5三維展示技術(shù)3D建模
    發(fā)表于 03-26 11:49 ?938次閱讀

    3D建模技術(shù)以及智能家具三維模型的展示

    當家居環(huán)境中的各類智能家具模型在線上展示,3D建模技術(shù)成為家居行業(yè)創(chuàng)新的源動力。 商迪3D運用3D建模技術(shù)
    的頭像 發(fā)表于 04-26 17:17 ?3308次閱讀

    基于聚類分析的三維網(wǎng)格分割技術(shù)綜述

    三維網(wǎng)格分割是計算機圖形學(xué)的一個重要的研究方向,近年來不斷涌現(xiàn)出各種新的分割技術(shù)。主要關(guān)注基于聚類分析的三維網(wǎng)格
    發(fā)表于 04-29 14:15 ?3次下載
    基于聚類分析的<b class='flag-5'>三維</b>網(wǎng)格<b class='flag-5'>分割</b><b class='flag-5'>技術(shù)</b>綜述

    工業(yè)工廠3D沉浸式三維數(shù)字化管理系統(tǒng)

    3D技術(shù)改變了很多領(lǐng)域的展示方式,使用戶能夠沉浸在三維數(shù)字化場景當中,并能夠音頻,圖文等互動方式,創(chuàng)建一個全新的三維虛擬空間。商迪
    發(fā)表于 09-17 10:40 ?1241次閱讀

    基于三維集成技術(shù)的紅外探測器

    三維集成技術(shù)可分為三維晶圓級封裝、基于三維中介層(interposer)的集成、三維堆疊式集成電路(3D
    的頭像 發(fā)表于 04-25 15:35 ?2207次閱讀

    彩色3D打印仕女圖三維掃描數(shù)字化3d打印

    教與智能制造部(CASAIM)】的彩色3D打印仕女圖及三維掃描數(shù)字化服務(wù)的解決方案。 三維掃描: 三維掃描是目前還原物品、場景的理想方式,具
    的頭像 發(fā)表于 02-28 09:52 ?978次閱讀
    彩色<b class='flag-5'>3D</b>打印仕女圖<b class='flag-5'>三維</b>掃描數(shù)字化<b class='flag-5'>3d</b>打印

    什么是樣本學(xué)習(xí)?為什么要搞樣本學(xué)習(xí)?

    樣本分類的技術(shù)目前正處于高速發(fā)展時期, 所涉及的具體應(yīng)用已經(jīng)從最初的圖像分類任務(wù)擴展到了其他計算機視覺任務(wù)乃至自然語言處理等多個相關(guān)領(lǐng)域。 對此, 本文將其稱為廣義
    發(fā)表于 09-22 11:10 ?2594次閱讀
    什么是<b class='flag-5'>零</b><b class='flag-5'>樣本</b>學(xué)習(xí)?為什么要搞<b class='flag-5'>零</b><b class='flag-5'>樣本</b>學(xué)習(xí)?

    3D ToF三維場景距離(景深)測量系統(tǒng)簡介

    電子發(fā)燒友網(wǎng)站提供《3D ToF三維場景距離(景深)測量系統(tǒng)簡介.pdf》資料免費下載
    發(fā)表于 09-29 10:55 ?0次下載
    <b class='flag-5'>3D</b> ToF<b class='flag-5'>三維</b><b class='flag-5'>場景</b>距離(景深)測量系統(tǒng)簡介
    主站蜘蛛池模板: 在线观看国产人视频免费中国 | 洗濯屋H纯肉动漫在线观看 羲义嫁密着中出交尾gvg794 | 国产一区二区青青精品久久 | 超碰在线视频caoporn | 亚洲人成在线播放无码 | 免费无码国产欧美久久18 | 歪歪爽蜜臀AV久久精品人人槡 | 狠狠色色综合站 | 曰本熟妇乱妇色A片在线 | 超级最爽的乱淫片免费 | 久久高清一级毛片 | 97国内精品久久久久久久影视 | 国产成人亚洲精品无广告 | 果冻传媒视频在线播放 免费观看 | 午夜福利92看看电影80 | 亚洲国产综合久久久无码色伦 | 中文无码在线观 | 神马电影我不卡国语版 | 一一本之道高清手机在线观看 | 国产日韩亚洲精品视频 | 另类专区hy777 | 国产成人亚洲精品老王 | 国产亚洲精品香蕉视频播放 | 1788vv视频| 久久精品国产96精品亚洲 | 国产精品久久久久秋霞影视 | 国产ts在线 | 国产精品第1页在线观看 | 挺弄抽插喷射HH | 亚洲精品青青草原avav久久qv | 37大但人文艺术A级都市天气 | 国内精品久久久久久西瓜色吧 | 国产强奷伦奷片 | 免费观看久久 | 亚洲一级电影 | 亚洲 无码 制服 日韩 | 国产精品av| 日韩免费一级毛片 | 久久大香线蕉综合爱 | 春暖花开 性 欧洲 | 动漫女主被扒开双腿羞辱 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品