1. 寫(xiě)在前面

最近自動(dòng)駕駛數(shù)據(jù)集的生成模型很火，主要包括NeRF和擴(kuò)散模型兩類(lèi)。其中擴(kuò)散模型的難點(diǎn)在于保持世界范圍內(nèi)的一致性和傳感器間的一致性。今天筆者為大家推薦一篇復(fù)旦大學(xué)最新的開(kāi)源方案WoVoGen，可以根據(jù)車(chē)輛控制輸入生成街區(qū)視頻，還可以做場(chǎng)景編輯。

下面一起來(lái)閱讀一下這項(xiàng)工作~

2. 摘要

生成多攝像頭的街景視頻對(duì)于增加自動(dòng)駕駛數(shù)據(jù)集至關(guān)重要，解決了對(duì)廣泛而多樣的數(shù)據(jù)的迫切需求。由于多樣性的限制和處理光照條件的挑戰(zhàn)，傳統(tǒng)的基于渲染的方法越來(lái)越多的被基于擴(kuò)散的方法所取代。然而，基于擴(kuò)散的方法的一個(gè)重要挑戰(zhàn)是確保生成的傳感器數(shù)據(jù)同時(shí)保持世界范圍內(nèi)的一致性和傳感器間的一致性。為了解決這些挑戰(zhàn)，我們結(jié)合了一個(gè)額外的顯式世界體素，并提出了世界體素感知多攝像頭驅(qū)動(dòng)場(chǎng)景生成器( Wovogen )。該系統(tǒng)專(zhuān)門(mén)用來(lái)利用4D世界體素作為視頻生成的基礎(chǔ)元素。我們的模型運(yùn)行在兩個(gè)不同的階段：( i )基于車(chē)輛控制序列來(lái)設(shè)想未來(lái)的4D時(shí)間世界體素，( ii )生成多攝像機(jī)視頻，由這個(gè)設(shè)想的4D時(shí)間世界體素和傳感器互連性知識(shí)。4D世界體素的加入使得WoVoGen不僅可以根據(jù)車(chē)輛控制輸入生成高質(zhì)量的街景視頻，而且可以方便場(chǎng)景編輯任務(wù)。

3. 效果展示

WoVoGen可以預(yù)測(cè)周?chē)h(huán)境并產(chǎn)生合理的視覺(jué)反饋，以響應(yīng)自車(chē)的駕駛操作。為了發(fā)揮快速發(fā)展的生成模型的能力，WoVoGen將結(jié)構(gòu)化的交通信息編碼到一個(gè)規(guī)則的網(wǎng)格框架中，即世界體素，并設(shè)計(jì)了一種新的基于潛在擴(kuò)散的世界模型來(lái)自回歸地執(zhí)行世界體素預(yù)測(cè)。

WoVoGen可以很好得生成具有時(shí)間一致性的未來(lái)世界體素(前兩行)。然后，利用世界模型輸出的世界體素感知的2D圖像特征，合成同時(shí)具有多相機(jī)一致性和時(shí)間一致性的駕駛視頻(最下面兩行)。

4. 具體原理是什么？

WoVoGen的總體框架。Top：世界模型分支。作者對(duì)AutoencoderKL進(jìn)行微調(diào)，從頭開(kāi)始訓(xùn)練4D擴(kuò)散模型，根據(jù)過(guò)去的世界體素和自車(chē)動(dòng)作生成未來(lái)世界體素。Bottom：世界體素感知合成分支。利用生成的未來(lái)量作為輸入，通過(guò)世界編碼器得到Fw。隨后的采樣產(chǎn)生Fimg，然后進(jìn)行聚合。該過(guò)程通過(guò)應(yīng)用全景擴(kuò)散來(lái)產(chǎn)生未來(lái)的視頻來(lái)完成。

5. 和其他SOTA方法對(duì)比如何？

nuScenes驗(yàn)證集上圖像/視頻生成質(zhì)量的定量比較。WoVoGen同時(shí)實(shí)現(xiàn)了多視角和多幀生成，在所有方法中FID和FVD得分最低。

6. 總結(jié)

這篇文章提出了WoVoGen，利用4D世界體素將時(shí)間和空間數(shù)據(jù)結(jié)合起來(lái)，在保證一致性的同時(shí)解決了從多傳感器數(shù)據(jù)創(chuàng)建內(nèi)容的復(fù)雜性。這種兩階段系統(tǒng)不僅可以基于車(chē)輛控制產(chǎn)生高質(zhì)量的視頻，還可以實(shí)現(xiàn)復(fù)雜的場(chǎng)景編輯。

審核編輯：黃飛