現(xiàn)代機(jī)器人技術(shù)在運(yùn)動(dòng)類任務(wù)上的表現(xiàn)已經(jīng)很驚艷，比如搬運(yùn)重物、雪地行走等，但對(duì)于人和目標(biāo)的交互式任務(wù)，比如餐桌擺盤(pán)、裝飾房間等多半還無(wú)能為力。近日，斯坦福大學(xué)研究人員就試圖通過(guò)大型視頻集來(lái)識(shí)別、表示和生成人與物體間的真實(shí)交互。

近幾年來(lái)，虛擬現(xiàn)實(shí)（VR）和機(jī)器人平臺(tái)技術(shù)已經(jīng)取得了巨大進(jìn)步。這些平臺(tái)現(xiàn)在可以讓我們體驗(yàn)更加身臨其境的虛擬世界，讓機(jī)器人幫我們完成具有挑戰(zhàn)性的運(yùn)動(dòng)類任務(wù)，例如在雪中行走，搬運(yùn)重物等。那么，我們能否很快就能擁有可以會(huì)擺放餐桌、會(huì)做菜的機(jī)器人了呢？

很遺憾，這個(gè)目標(biāo)現(xiàn)在離我們還有點(diǎn)遠(yuǎn)。

在日常生活中人與物體發(fā)生相互作用的一些例子

為什么？要弄清這個(gè)問(wèn)題，需要從日常人類生活中的相互作用的多樣性說(shuō)起。我們幾乎無(wú)時(shí)無(wú)刻不在進(jìn)行活動(dòng)，這些活動(dòng)中包括簡(jiǎn)單的動(dòng)作，比如吃水果，或更復(fù)雜一些的，比如做飯。這些活動(dòng)中都會(huì)發(fā)生人和周圍事物的相互作用，這個(gè)過(guò)程是多步的，會(huì)受到物理學(xué)、人類目標(biāo)，日常習(xí)慣和生物力學(xué)的支配。

為了開(kāi)發(fā)更具動(dòng)態(tài)性的虛擬世界和更智能的機(jī)器人，我們需要教機(jī)器捕獲，理解和復(fù)制這些交互行為。我們可以以大型視頻集（如YouTube，Netflix，F(xiàn)acebook）的形式，廣泛提供了解這些交互所需的信息。

本文將描述從視頻中學(xué)習(xí)人與對(duì)象的多級(jí)交互活動(dòng)所采取的一些初級(jí)步驟。主要討論生成適用于VR/ AR技術(shù)的人與對(duì)象交互動(dòng)畫(huà)，研究如何使機(jī)器人能巧妙地對(duì)用戶行為和交互作出反應(yīng)。

問(wèn)題和挑戰(zhàn)

我們將研究重點(diǎn)放在人類進(jìn)行的各種交互活動(dòng)的子集上，常見(jiàn)的如家用桌上或辦公室中的人與物體的交互，比如用手拿取桌子上的目標(biāo)。下圖中類似的桌面交互活動(dòng)占到我們?nèi)粘Ｐ袨橹械暮艽笠徊糠郑捎谑?物體的配置空間很大，因此這些交互活動(dòng)的模式和特征難以捕獲。

上圖是我們收集的視頻中的一些桌面交互活動(dòng)實(shí)例。我們收集了75個(gè)視頻（20個(gè)驗(yàn)證視頻）。

我們的目標(biāo)是通過(guò)學(xué)習(xí)大型視頻集來(lái)識(shí)別、表示和生成這些真實(shí)的交互。這必須要解決具有挑戰(zhàn)性的基于視覺(jué)的識(shí)別任務(wù)，產(chǎn)生與當(dāng)前和過(guò)去的環(huán)境狀態(tài)一致、時(shí)間空間一致的多步交互。這些交互還應(yīng)符合基本物理定律（比如不能穿透物體），人類習(xí)慣（比如不能端著帶杯柄的咖啡杯），并受到人體生物力學(xué)特征的限制（比如夠不到太遠(yuǎn)的物體）。

動(dòng)作劃分（Action Plots）表示

人類活動(dòng)的空間及其支持的相互作用存在無(wú)數(shù)可能。與對(duì)象的交互會(huì)導(dǎo)致連續(xù)的時(shí)空上的轉(zhuǎn)換，使交互模式難以形式化。不過(guò)，這些復(fù)雜的相互作用可以按照順序進(jìn)行建模，即總結(jié)出從給定狀態(tài)到后續(xù)狀態(tài)的變化概率。

為了在這個(gè)順序模型中進(jìn)行參數(shù)化表示，我們引入了一個(gè)稱為動(dòng)作劃分（action plot）的表示，負(fù)責(zé)表示由手完成的、導(dǎo)致場(chǎng)景中的狀態(tài)發(fā)生改變的一系列動(dòng)作。每個(gè)動(dòng)作定義交互中的唯一階段，并表示為動(dòng)作元組，每個(gè)動(dòng)作元組由動(dòng)作標(biāo)簽、持續(xù)時(shí)間、參與對(duì)象、結(jié)束狀態(tài)和位置組成。這種離散化處理方式更加突出了人與物體相互作用的組合性質(zhì)，同時(shí)抽象出時(shí)空變換的復(fù)雜度。

從視頻中識(shí)別人與物體的交互

學(xué)習(xí)生成包含多步驟交互行為的動(dòng)作劃分，捕捉現(xiàn)實(shí)世界中人和物體交互行為的物理約束和因果關(guān)系。我們的目標(biāo)是從人類場(chǎng)景交互的視頻集合中進(jìn)行自動(dòng)學(xué)習(xí)，因?yàn)檫@是一種快速，廉價(jià)、多功能的設(shè)置。為了完全表示動(dòng)作劃分，需要首先獲取有關(guān)對(duì)象的實(shí)例、類別和位置，然后確定手的位置，最后進(jìn)行動(dòng)作檢測(cè)和分割，這些信息都要從視頻中提取，難度很大。

我們通過(guò)自動(dòng)化的pipeline，利用計(jì)算機(jī)視覺(jué)領(lǐng)域的最新進(jìn)展，在動(dòng)作劃分任務(wù)上實(shí)現(xiàn)了最高的精度。

對(duì)象和實(shí)例跟蹤：動(dòng)作劃分中的一個(gè)重要組成部分是對(duì)象類別、實(shí)例、位置和狀態(tài)。我們使用基于更快的R-CNN架構(gòu)的物體檢測(cè)器來(lái)在每幀圖像中找到候選邊界框和標(biāo)簽和對(duì)象位置，通過(guò)時(shí)間濾波減少檢測(cè)抖動(dòng)。為了推斷對(duì)象的狀態(tài)，在每個(gè)邊界框的內(nèi)容上訓(xùn)練分類器。

手部檢測(cè)：由于大多數(shù)交互涉及手部，因此圖像處理目的是推斷出手在操縱哪些物體，以及手部遮擋時(shí)的物體位置。我們使用完全卷積神經(jīng)網(wǎng)絡(luò)（FCN）架構(gòu)來(lái)檢測(cè)手部動(dòng)作。該網(wǎng)絡(luò)使用來(lái)自GTEA數(shù)據(jù)集中的手工掩模的數(shù)據(jù)進(jìn)行訓(xùn)練，并根據(jù)我們視頻集的子集進(jìn)行微調(diào)。通過(guò)手部檢測(cè)和物體的運(yùn)動(dòng)方式，可以推斷出手的實(shí)時(shí)狀態(tài)（是空閑，還是被占用），這是一個(gè)重要的信息。

動(dòng)作劃分：要為每個(gè)視頻幀生成動(dòng)作標(biāo)簽，我們需要識(shí)別所涉及的動(dòng)作以及它們的開(kāi)始和結(jié)束時(shí)間（即動(dòng)作分段）。我們采用兩階段方法：（1）為每幀圖像提取有意義的圖像特征，（2）利用提取的特征對(duì)每幀的動(dòng)作標(biāo)簽進(jìn)行分類，并對(duì)動(dòng)作進(jìn)行分段劃分。為了增加動(dòng)作劃分的魯棒性，使用LSTM網(wǎng)絡(luò)來(lái)暫時(shí)聚合信息。詳細(xì)信請(qǐng)參閱論文。

使用遞歸神經(jīng)網(wǎng)絡(luò)生成

利用上文中描述的動(dòng)作劃分表示可以對(duì)復(fù)雜的時(shí)空交互進(jìn)行緊湊編碼，第2部分中的識(shí)別系統(tǒng)可以利用視頻創(chuàng)建動(dòng)作劃分。現(xiàn)在的目標(biāo)是使用視頻集合中提取的動(dòng)作圖來(lái)學(xué)習(xí)生成新的交互。為了使問(wèn)題易于處理，我們將動(dòng)作元組中的時(shí)變和時(shí)不變參數(shù)進(jìn)行解耦處理，更具體地說(shuō)，是使用多對(duì)多RNN來(lái)建模，并利用與時(shí)間無(wú)關(guān)的高斯混合模型。

時(shí)間依賴性動(dòng)作分割RNN：從自然語(yǔ)言處理中的類似序列問(wèn)題中汲取靈感，使用狀態(tài)保持遞歸神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)模擬交互事件中與時(shí)間相關(guān)的參數(shù)。

動(dòng)作分割RNN會(huì)學(xué)習(xí)并預(yù)測(cè)包括動(dòng)作標(biāo)簽、活動(dòng)對(duì)象，對(duì)象狀態(tài)和持續(xù)時(shí)間組成的下一狀態(tài)。每個(gè)時(shí)間步長(zhǎng)上的輸入會(huì)首先嵌入到指定大小的向量中。

與時(shí)間無(wú)關(guān)的物體位置模型：人和物體之間的許多相互作用需要通過(guò)建模，生成新的合理物體運(yùn)動(dòng)。物體的分布存在強(qiáng)烈的先驗(yàn)性特征。比如在杯子周圍存在打開(kāi)的瓶子是很常見(jiàn)的，但在筆記本電腦周圍就很少見(jiàn)。由于這些先驗(yàn)性特征對(duì)時(shí)間因素的依賴性不高，我們可以利用高斯混合模型（GMM）對(duì)視頻集合進(jìn)行學(xué)習(xí)，并進(jìn)行建模。

與時(shí)間無(wú)關(guān)的對(duì)象位置模型的學(xué)習(xí)和建模。此圖為從視頻集合中學(xué)習(xí)的可能對(duì)象位置的熱圖。

結(jié)果與應(yīng)用實(shí)例

動(dòng)畫(huà)合成：我們的方法可以學(xué)習(xí)單個(gè)動(dòng)作的前后因果依賴性，所以可用于生成在訓(xùn)練期間未見(jiàn)過(guò)的新的動(dòng)作圖像，并將這些動(dòng)作圖渲染成逼真的動(dòng)畫(huà)，如下圖所示。利用這一點(diǎn)可以產(chǎn)生虛擬/增強(qiáng)現(xiàn)實(shí)領(lǐng)域的新應(yīng)用，向人們傳授新技能（比如沖咖啡）。

機(jī)器人仿真和運(yùn)動(dòng)規(guī)劃：可以在智能和反應(yīng)環(huán)境中啟用應(yīng)用，改善老年人和殘疾人的生活。我們開(kāi)發(fā)了帶差動(dòng)驅(qū)動(dòng)器的機(jī)器杯。杯子的動(dòng)作由實(shí)時(shí)識(shí)別、表示和生成pipeline驅(qū)動(dòng)。杯子可以實(shí)時(shí)捕獲交互并編碼為動(dòng)作圖像，預(yù)測(cè)可能的未來(lái)狀態(tài)。機(jī)器人使用這些預(yù)測(cè)來(lái)做出適當(dāng)?shù)姆磻?yīng)。

下圖中的“召喚杯”顯示出用手抓杯子的過(guò)程。智能杯子會(huì)朝人手的方向移動(dòng)，以防用戶伸手夠不到。但是，如果檢測(cè)到用戶的手中之前已經(jīng)拿了一本書(shū)，智能杯就不會(huì)移動(dòng)，因?yàn)槲覀兊姆椒[式學(xué)會(huì)了“一次只讓手拿住一個(gè)物體”的物理約束。

“召喚杯”表現(xiàn)出了手、智能杯子和瓶子之間更復(fù)雜相互作用的實(shí)例。當(dāng)手去移動(dòng)裝滿的瓶子時(shí)，智能杯自動(dòng)定位以便手將瓶中的水倒進(jìn)杯里。但是，當(dāng)檢測(cè)到瓶子是空的時(shí)，智能杯不會(huì)做出反應(yīng)。只有掌握復(fù)雜的人和對(duì)象之間的交互特征，才能實(shí)現(xiàn)這種語(yǔ)義規(guī)劃。

討論與未來(lái)方向

本研究是識(shí)別、表示和生成合理的動(dòng)態(tài)人與對(duì)象交互過(guò)程的第一步。我們提出了一種方法，通過(guò)識(shí)別視頻中的交互過(guò)程，使用動(dòng)作劃分緊湊地表示出這些交互，并生成新的交互，從而自動(dòng)學(xué)習(xí)視頻集合中的交互。雖然我們已經(jīng)取得了很大的成果，但仍有一些明顯的局限性。

我們用以進(jìn)行動(dòng)作劃分的RNN無(wú)法捕獲的長(zhǎng)時(shí)間范圍內(nèi)的活動(dòng)。目前的應(yīng)用也僅限于桌上的交互式任務(wù)。在未來(lái)，我們計(jì)劃將研究范圍擴(kuò)展至長(zhǎng)期的交互活動(dòng)上，并改善我們生成的交互的合理性。

我們的方法為學(xué)習(xí)生成人與對(duì)象的交互活動(dòng)提供了堅(jiān)實(shí)的基礎(chǔ)。但是要想創(chuàng)建更具沉浸感和動(dòng)態(tài)的虛擬現(xiàn)實(shí)，還需要進(jìn)行廣泛的研究，將來(lái)我們也許可以構(gòu)建會(huì)做晚餐、會(huì)洗碗的機(jī)器人。

本研究的論文將于2019年 Eurographics會(huì)議上發(fā)表。