新加坡南洋理工大學（NTU新加坡）的科學家開發(fā)了一種人工智能（AI）系統(tǒng)，該系統(tǒng)通過將類似皮膚的電子設備與計算機視覺結合起來來識別手勢。

在過去的十年中，人工智能系統(tǒng)對人的手勢的識別已成為一項有價值的發(fā)展，并且已被高精度的外科手術機器人，健康監(jiān)測設備和游戲系統(tǒng)采用。

通過整合可穿戴式傳感器的輸入，改進了最初僅用于視覺的AI手勢識別系統(tǒng)，這種方法稱為“數(shù)據(jù)融合”。可穿戴式傳感器可重建皮膚的感知能力，其中之一被稱為“體感”。

但是，手勢識別精度仍然受到可穿戴式傳感器提供的數(shù)據(jù)質量低的困擾，這通常是由于它們的體積大，與用戶的接觸不良以及視覺上受阻的物體和光線不足的影響。視覺和感官數(shù)據(jù)的集成帶來了進一步的挑戰(zhàn)，因為它們代表了不匹配的數(shù)據(jù)集，必須分別處理然后在最后合并，這效率低下，導致響應時間變慢。

為了應對這些挑戰(zhàn)，NTU團隊創(chuàng)建了一個“生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)使用由單壁碳納米管制成的類似于皮膚的可拉伸應變傳感器，以及一種類似于皮膚的感知和視覺處理方式的AI方法。大腦。

NTU科學家通過在一個系統(tǒng)中結合三種神經(jīng)網(wǎng)絡方法來開發(fā)他們的生物啟發(fā)式AI系統(tǒng)：他們使用了“卷積神經(jīng)網(wǎng)絡”，這是一種用于早期視覺處理的機器學習方法，是一種多層神經(jīng)網(wǎng)絡，用于早期的體感信息處理，和“稀疏神經(jīng)網(wǎng)絡”將視覺和體感信息融合在一起。

結果是該系統(tǒng)可以比現(xiàn)有方法更準確，更有效地識別人的手勢。

該研究的主要作者，南大材料科學與工程學院的陳曉東教授說：“我們的數(shù)據(jù)融合架構具有其自身獨特的生物啟發(fā)特征，其中包括類似于人體感覺-視覺融合層次的人工系統(tǒng)。大腦。我們相信這些功能使我們的架構對于現(xiàn)有方法而言是獨一無二的。”

“與剛性穿戴式傳感器相比，剛性穿戴式傳感器與用戶之間無法形成足夠緊密的接觸以準確收集數(shù)據(jù)，我們的創(chuàng)新技術使用可拉伸的應變傳感器，可舒適地貼附??在人體皮膚上。這可實現(xiàn)高質量的信號采集，這對于高強度采集至關重要精確識別任務”，同時也是南大柔性設備創(chuàng)新中心（iFLEX）主任的陳教授說。

由NTU新加坡和悉尼科技大學（UTS）的科學家組成的團隊于6月在科學期刊《自然電子》上發(fā)表了他們的發(fā)現(xiàn)。

為了從手勢捕獲可靠的感官數(shù)據(jù)，研究團隊制造了一種透明的，可拉伸的應變傳感器，該傳感器附著在皮膚上，但在相機圖像中看不到。

作為概念證明，該團隊使用通過手勢控制的機器人測試了他們的生物啟發(fā)式AI系統(tǒng)，并引導其通過了迷宮。

結果表明，與基于視覺的識別系統(tǒng)產(chǎn)生的六個識別錯誤相比，由生物啟發(fā)的AI系統(tǒng)提供動力的手勢識別能夠以零錯誤引導機器人穿越迷宮。

當新的AI系統(tǒng)在惡劣條件下（包括噪音和不利的照明條件）進行測試時，也保持了較高的準確性。人工智能系統(tǒng)在黑暗中有效工作，識別準確率高達96.7%。

該研究的第一作者，新加坡南大材料科學與工程學院的王明博士說：“我們的體系結構的高精度背后的秘密在于，視覺和體感信息可以相互作用并相互補充。因此，該系統(tǒng)可以合理地收集具有較少冗余數(shù)據(jù)和較少感知模糊性的連貫信息，從而提高準確性。”

德國馬克斯·普朗克膠體與界面研究所所長Markus Antonietti教授發(fā)表了獨立的見解，他說：“本文的發(fā)現(xiàn)使我們向更智能，更受機器支持的世界邁出了一步。就像智能手機的發(fā)明一樣這場革命給社會帶來了革命，這項工作使我們寄希望于我們有一天能夠通過手勢以極大的可靠性和精確性來物理控制我們周圍的整個世界。”

“在市場上，支持這種未來的技術只是無窮無盡的應用。例如，從對智能工作場所的遠程機器人控制到老年人的外骨骼。”

NTU研究團隊正在尋求基于開發(fā)的AI系統(tǒng)構建VR和AR系統(tǒng)，用于需要高精度識別和控制的領域，例如娛樂技術和家庭康復。