近年來(lái)，人工智能（AI）的發(fā)展勢(shì)頭從最初的興起逐漸走向平緩，現(xiàn)階段 AI 領(lǐng)域面臨的一個(gè)瓶頸就是十分依賴人工標(biāo)注的數(shù)據(jù)，正如數(shù)據(jù)標(biāo)注行業(yè)流行的那句話，“有多少智能，就有多少人工”。

如果可以讓機(jī)器人自己進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)分析，無(wú)疑可以節(jié)省很多人力。麻省理工學(xué)院（MIT）計(jì)算機(jī)科學(xué)系博士王少雄認(rèn)為能夠讓機(jī)器人學(xué)會(huì)自我分析是一件令他十分興奮的事情，“機(jī)器人可以利用自動(dòng)化的方式自己重置系統(tǒng)，以及通過(guò)和物體交互的過(guò)程來(lái)自己學(xué)習(xí)”，他覺(jué)得這樣在數(shù)據(jù)標(biāo)注方面可以節(jié)省很多人力。

今年，王少雄和另外一位一作王辰的一篇有關(guān)機(jī)器人可以自我采集觸覺(jué)數(shù)據(jù)并自我分析，最終能夠完成特定動(dòng)作的論文獲得了機(jī)器人領(lǐng)域國(guó)際頂會(huì) IROS 2020 的最佳論文獎(jiǎng)。

下圖的機(jī)器人就是他們研究的成果，它叫 SwingBot，可以把它理解為是一個(gè) “甩筆” 機(jī)器人。它將這根筆由下到上翻轉(zhuǎn)了 180 度，這真的不是研究人員給它 “喂” 了大量的數(shù)據(jù)才建立的模型，這是它通過(guò)自我采集觸覺(jué)數(shù)據(jù)并學(xué)習(xí)分析后的結(jié)果。

這項(xiàng)研究來(lái)自于麻省理工學(xué)院（MIT）與上海交通大學(xué)的暑期聯(lián)合項(xiàng)目，論文題目為 “SwingBot: Learning Physical Features from In-Hand Tactile Exploration for Dynamic Swing-up Manipulation”（SwingBot：從手部觸覺(jué)探索中學(xué)習(xí)物理特征，以實(shí)現(xiàn)動(dòng)態(tài)擺起操作）。

論文的兩位一作分別是王辰和王少雄，王辰剛剛本科畢業(yè)于上海交通大學(xué)、即將前往斯坦福大學(xué)攻讀計(jì)算機(jī)科學(xué)博士學(xué)位，少雄本科畢業(yè)于清華大學(xué)、目前是 MIT 計(jì)算機(jī)科學(xué)系在讀博士生。

“我們?cè)谒伎荚鯓硬拍茏寵C(jī)器人通過(guò)簡(jiǎn)單的動(dòng)作去感知手上握有物體的物理特性，比如物體的質(zhì)量、重心，物體表面的摩擦力等，” 王辰告訴 DeepTech。

因?yàn)槿嗽谧龊芏嗫刂迫蝿?wù)的時(shí)候，其實(shí)并不需要知道這些精確的物理參數(shù)，但是我們通過(guò)一些掂量的動(dòng)作，就能夠感受到這個(gè)物體的特性，比如我們?cè)诳?a target="_blank">手機(jī)時(shí)，誰(shuí)也不會(huì)拿手機(jī)的上部，因?yàn)槲覀兡芨惺艿酵凶∈謾C(jī)的下部才是最省力的，但誰(shuí)也無(wú)法分析出具體關(guān)于力的物理參數(shù)。

研究人員正想讓機(jī)器人通過(guò)自我學(xué)習(xí)來(lái)解決這樣的問(wèn)題，讓它自我采集數(shù)據(jù)進(jìn)行整合分析，不斷地學(xué)習(xí)，最終希望它不僅能分析出完成相關(guān)動(dòng)作所需的物理參數(shù)，還能順利拿起未知物體完成指定動(dòng)作。

如果說(shuō)這篇論文的出彩之處是培養(yǎng)了機(jī)器人對(duì)觸覺(jué)的分析能力，那么實(shí)驗(yàn)中用到的觸覺(jué)傳感器則至關(guān)重要。

GelSight 觸覺(jué)傳感器：表面柔軟、分辨率高，能復(fù)刻整塊餅干的形狀和紋理

GelSight 最初是為測(cè)量目標(biāo)表面的三維形狀和紋理而設(shè)計(jì)的，由覆蓋有反射涂層膜的透明彈性體板組成。當(dāng)物體被壓在彈性體上時(shí)，薄膜會(huì)變形，呈現(xiàn)物體表面的形狀，但具有一致的反射率。例如研究人員以?shī)W利奧餅干為例，將餅干壓在彈性體板的表皮上，從后面看，薄膜能夠完全復(fù)刻出餅干的形狀和紋理。

圖｜將餅干壓在彈性體板的表皮上。來(lái)源：[1]

王少雄告訴 DeepTech，“這個(gè)觸覺(jué)傳感器其實(shí)是一個(gè)非常新的處理系統(tǒng)，目前還處于研究階段，它最大的特點(diǎn)就是可以以整張圖像的形式輸入，而其它的傳感器可能只有十幾個(gè)電極，這就極大的豐富了觸覺(jué)的感知能力。”

王辰補(bǔ)充道，“GelSight 觸覺(jué)傳感器的一大優(yōu)點(diǎn)是成本更低，而且能夠返回高密度的光學(xué)信息，能夠更好的獲得觸覺(jué)端對(duì)物體的感知情況。”

研究中用到的觸覺(jué)傳感器 GelSight 同樣出于 MIT 實(shí)驗(yàn)室，最初是 MIT CSAIL 感知科學(xué)小組教授 Edward H. Adelson 2009 年的研究成果，近年來(lái)逐步研發(fā)并應(yīng)用于機(jī)器人觸覺(jué)中。

圖 | GelSight 原型，CVPR 2009。來(lái)源：[1]

圖 | GelSight 運(yùn)用于機(jī)器人觸覺(jué)，Sensors 2017。來(lái)源：[2]

在本篇論文中，研究人員將下圖中的傳感器安裝在機(jī)械臂的抓手上，以此來(lái)采集不同質(zhì)量、重心物體的數(shù)據(jù)。

若要讓 Swingbot 很好地完成甩筆任務(wù)，雖然研究人員猜測(cè)質(zhì)量、重心、摩擦力等參數(shù)可能會(huì)影響實(shí)驗(yàn)結(jié)果，但是他們并不知道究竟是哪一部分占主導(dǎo)作用，“所以需要機(jī)器人具備分析能力，我們希望它能夠通過(guò)傾斜以及抖動(dòng)這些簡(jiǎn)單的探索動(dòng)作，自己從觸覺(jué)傳感器的反饋信息當(dāng)中搜集完成這個(gè)任務(wù)所需要的信息。” 王辰說(shuō)道。

觸覺(jué)探索第一步：通過(guò)傾斜＋搖晃，機(jī)器人得到不同筆的物理特征

研究方法由兩個(gè)主要部分組成，一個(gè)信息融合模型和一個(gè)正向動(dòng)力學(xué)模型。研究人員首先讓 SwingBot 執(zhí)行兩個(gè)動(dòng)作，分別是傾斜和搖晃，這是一種手持式物理特征探測(cè)方法，幫助機(jī)器人進(jìn)行觸覺(jué)探索。一旦機(jī)器人學(xué)會(huì)嵌入物體的物理參數(shù)，正向動(dòng)力學(xué)模型就會(huì)通過(guò)特征向量和控制參數(shù)來(lái)產(chǎn)生起擺運(yùn)動(dòng)，以實(shí)現(xiàn)最終的 “甩筆” 角度。

少雄說(shuō)道，“我們想讓機(jī)器人去感覺(jué)一個(gè)未知的物體，通過(guò)讓它完成特定的操作來(lái)感知物體的物理信息，然后我們可以借助這個(gè)物理信息應(yīng)用到控制系統(tǒng)中。”

圖｜機(jī)器人采取幾個(gè)步驟來(lái)獲取被持有對(duì)象的物理特征

在訓(xùn)練初始一定伴隨著很多困難，比如機(jī)器人總是拿不住筆，但這些都沒(méi)能難住他們。“我們?cè)诘紫掳惭b了一個(gè) V 型的槽，一方面它可以回收和接到飛出去的筆，另一方面它通過(guò)頂部的相機(jī)可以捕捉物體的一個(gè)位置，然后它可以去調(diào)節(jié)這個(gè)物體，讓它重新到最初的位置。通過(guò)這個(gè)方法就完全不需要人為去參與。” 王辰告訴 DeepTech。

在機(jī)器人完成傾斜動(dòng)作時(shí)，研究人員發(fā)現(xiàn)，當(dāng)物體傾斜到一定的角度時(shí)能夠檢測(cè)出物體的質(zhì)量，因此他們分別讓機(jī)器持筆傾斜到 20 度和 45 度，可以觀察到物體重量產(chǎn)生不同的力和扭矩分布。這些觸覺(jué)反饋信息會(huì)通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)輸出一個(gè)一維的特征向量。

在機(jī)器人完成晃動(dòng)任務(wù)時(shí)，從觸覺(jué)信號(hào)的時(shí)間序列中可以觀察到不同的摩擦和震動(dòng)，研究人員用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)處理獲得相應(yīng)的特征，可以獲取有關(guān)摩擦力和慣性矩的信息。

然后，一個(gè)由若干多層感知器（MLP）組成的信息融合模型會(huì)將以上兩步中收集到的物理特征進(jìn)行整合分析，得到一個(gè)低維的物理特征概括，這也就是機(jī)器人獲取自我分析能力的基礎(chǔ)。

自我采集 1300 多組數(shù)據(jù)并分析，成功將筆甩至 90 度和 180 度

在機(jī)器人具備自我分析能力后，才迎來(lái)了研究的重點(diǎn) —— 甩筆，這項(xiàng)任務(wù)看似單一且簡(jiǎn)單，實(shí)則不然。

王辰告訴 DeepTech，甩筆其實(shí)是一個(gè)非常不穩(wěn)定的任務(wù)，“剛開(kāi)始的時(shí)候不僅需要四處撿筆，而且有時(shí)它根本不能把筆甩起來(lái)，或者甩不到我們想要的角度。在這個(gè)過(guò)程中，我們發(fā)現(xiàn)對(duì)于收集數(shù)據(jù)也非常困難。”

王辰還透露，機(jī)器人自我采集的數(shù)據(jù)一共有1300多組，包含27個(gè)不同物理特性的物體，采集這些數(shù)據(jù)用了大概一天的時(shí)間。“當(dāng)完成采集時(shí)，這也是成功的訊號(hào)。”

圖｜通過(guò)添加 / 摘除相關(guān)零件以及換不同摩擦系數(shù)的筆頭來(lái)制作不同物理特性的物體

最后一步就是讓學(xué)習(xí)了物理特征的預(yù)測(cè)模型嘗試將那些未知特征的筆甩到特定角度，對(duì)此，研究人員準(zhǔn)備了 6 個(gè)測(cè)試對(duì)象，從機(jī)器人準(zhǔn)備甩筆到完成特定的角度，整個(gè)過(guò)程只有 5 秒左右。

對(duì)于這些未知的物理特征，SwingBot 也能成功完成指定動(dòng)作，王辰稱，最終的誤差僅在 10 度左右。

圖｜定量評(píng)價(jià)預(yù)測(cè)模型與物理嵌入的結(jié)果

研究人員證實(shí)了借助這種融合模型，可以將多個(gè)探索動(dòng)作獲取的信息組合到一個(gè)聯(lián)合嵌入空間中，以端到端的自我監(jiān)督方式來(lái)訓(xùn)練機(jī)器人，最終 SwingBot 能夠很好地完成甩筆動(dòng)作。此外，該研究還表明，學(xué)習(xí)到的面向任務(wù)的特征嵌入也可以成功地回歸個(gè)體的物理特性，如質(zhì)量、質(zhì)心、慣性矩和摩擦。

關(guān)于未來(lái)的研究方向，王辰說(shuō)道，“甩筆是一個(gè)比較簡(jiǎn)單直觀可以理解的一個(gè)例子，但是這個(gè)觸覺(jué)分析的能力未來(lái)可以用在很多其他的任務(wù)上，不僅不單單只是這樣的一個(gè)甩筆任務(wù)。”

兩位一作

一次暑期研究的機(jī)會(huì)，二人通過(guò)郵件結(jié)識(shí)。就這樣，今年夏天剛剛從上海交通大學(xué)畢業(yè)的王辰和 MIT 計(jì)算機(jī)科學(xué)系在讀博士生王少雄開(kāi)始了這次長(zhǎng)達(dá)六個(gè)月的合作，而他們本身也都十分優(yōu)秀。

圖｜王辰

王辰在今年獲得了上海交通大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，師從盧策吾教授。大學(xué)期間，王辰也參與了多次實(shí)習(xí)項(xiàng)目，他在 2018 年 6 月至 2019 年 8 月?lián)嗡固垢４髮W(xué)的研究實(shí)習(xí)生，Silvio Savarese、朱玉可和李飛飛都是他的導(dǎo)師。他還在 2018 年 1 月到 5 月期間參與 “Transferable Force-Torque Dynamics Model for Peg-in-hole Task” 項(xiàng)目的研究，研究成果也提交到了 IROS 2019。接下來(lái)，王辰即將前往斯坦福大學(xué)繼續(xù)攻讀計(jì)算機(jī)科學(xué)博士學(xué)位。

圖｜王少雄

王少雄本科就讀于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，師從唐杰。畢業(yè)后他去到 MIT 繼續(xù)深造，目前是 MIT 計(jì)算機(jī)科學(xué)系在讀博士生。從 2016 年至今，王少雄共發(fā)表了六篇論文，除了本次的 SwingBot 項(xiàng)目獲得了 IROS 2020 最佳論文獎(jiǎng)，今年 7 月他參與的研究的 “操縱電纜機(jī)器人” 項(xiàng)目（Cable Manipulation with a Tactile-Reactive Gripper）也入圍了機(jī)器人領(lǐng)域國(guó)際頂級(jí)會(huì)議 RSS 2020 最佳論文。

圖｜操縱電纜機(jī)器人

最后，提到對(duì)于 AI 發(fā)展的前景以及對(duì)于通用人工智能（AGI）的暢想，二人直言沒(méi)有想那么遠(yuǎn)。“我們更多希望看到的是有一個(gè)實(shí)際的問(wèn)題，然后知道這個(gè)問(wèn)題的難點(diǎn)在哪里，如何去解決它。因?yàn)槠鋵?shí)當(dāng)下對(duì)于機(jī)器人控制的話，還有很多問(wèn)題沒(méi)有解決，遠(yuǎn)還沒(méi)有到去思考 AI 會(huì)不會(huì)像人一樣，總歸是一步步來(lái)。” 王辰說(shuō)道。

責(zé)任編輯：lq