新型事件相機(jī)系統(tǒng)與標(biāo)準(zhǔn)事件相機(jī)系統(tǒng)對(duì)比圖。

馬里蘭大學(xué)計(jì)算機(jī)科學(xué)家領(lǐng)導(dǎo)的一個(gè)研究小組發(fā)明了一種照相機(jī)裝置，可以改善機(jī)器人觀察周圍世界并做出反應(yīng)的方式。受人眼工作原理的啟發(fā)，他們的創(chuàng)新型照相機(jī)系統(tǒng)模仿了人眼為長(zhǎng)期保持清晰穩(wěn)定的視覺而進(jìn)行的微小不自主運(yùn)動(dòng)。

該團(tuán)隊(duì)在《科學(xué)機(jī)器人學(xué)》(Science Robotics)雜志上發(fā)表的一篇論文詳細(xì)介紹了這種名為 "人工微停滯增強(qiáng)事件相機(jī)"(AMI-EV)的相機(jī)的原型設(shè)計(jì)和測(cè)試過程。

論文的第一作者、UMD 計(jì)算機(jī)科學(xué)博士生Botao He說(shuō)："事件相機(jī)是一種相對(duì)較新的技術(shù)，與傳統(tǒng)相機(jī)相比，它能更好地跟蹤移動(dòng)物體，但如今的事件相機(jī)很難在有大量運(yùn)動(dòng)時(shí)捕捉到清晰、無(wú)模糊的圖像。"

"這是一個(gè)大問題，因?yàn)闄C(jī)器人和許多其他技術(shù)，例如自動(dòng)駕駛汽車，都需要準(zhǔn)確及時(shí)的圖像才能對(duì)不斷變化的環(huán)境做出正確反應(yīng)。因此，我們捫心自問： 人類和動(dòng)物如何確保自己的視覺始終聚焦在移動(dòng)的物體上?

對(duì)于賀的團(tuán)隊(duì)來(lái)說(shuō)，答案就是微注視，即人在試圖集中視線時(shí)不由自主地發(fā)生的細(xì)微而快速的眼球運(yùn)動(dòng)。通過這些微小而持續(xù)的運(yùn)動(dòng)，人眼可以長(zhǎng)時(shí)間準(zhǔn)確地保持對(duì)物體及其視覺紋理(如顏色、深度和陰影)的關(guān)注。

他說(shuō)：“我們認(rèn)為，就像我們的眼睛需要這些微小的運(yùn)動(dòng)來(lái)保持聚焦一樣，相機(jī)也可以利用類似的原理來(lái)捕捉清晰準(zhǔn)確的圖像，而不會(huì)因?yàn)檫\(yùn)動(dòng)而導(dǎo)致模糊。”

研究小組在 AMI-EV 內(nèi)部插入了一個(gè)旋轉(zhuǎn)棱鏡，以重新定向鏡頭捕捉到的光束，從而成功復(fù)制了微小運(yùn)動(dòng)。棱鏡的連續(xù)旋轉(zhuǎn)運(yùn)動(dòng)模擬了人眼自然發(fā)生的運(yùn)動(dòng)，使相機(jī)能夠像人一樣穩(wěn)定所記錄物體的紋理。研究小組隨后開發(fā)了一款軟件，用于補(bǔ)償 AMI-EV 中棱鏡的移動(dòng)，從而從移動(dòng)的燈光中整合出穩(wěn)定的圖像。

研究報(bào)告的共同作者、UMD 計(jì)算機(jī)科學(xué)教授 Yiannis Aloimonos 認(rèn)為，該團(tuán)隊(duì)的發(fā)明是在機(jī)器人視覺領(lǐng)域邁出的一大步。

我們的眼睛會(huì)對(duì)周圍的世界進(jìn)行拍照，然后將照片發(fā)送到大腦，在大腦中對(duì)圖像進(jìn)行分析。感知就是通過這個(gè)過程發(fā)生的，這就是我們理解世界的方式，馬里蘭大學(xué)高級(jí)計(jì)算機(jī)研究所(UMIACS)計(jì)算機(jī)視覺實(shí)驗(yàn)室主任Aloimonos解釋說(shuō)。他還兼任馬里蘭大學(xué)高級(jí)計(jì)算機(jī)研究所計(jì)算機(jī)視覺實(shí)驗(yàn)室主任，他解釋說(shuō)：“在使用機(jī)器人時(shí)，可以用攝像頭代替眼睛，用計(jì)算機(jī)代替大腦。更好的攝像頭意味著機(jī)器人有更好的感知和反應(yīng)能力”。

研究人員還認(rèn)為，他們的創(chuàng)新可能會(huì)在機(jī)器人和國(guó)防之外產(chǎn)生重大影響。在依賴精確圖像捕捉和形狀檢測(cè)的行業(yè)工作的科學(xué)家們一直在尋找改進(jìn)相機(jī)的方法，而 AMI-EV 可能是解決他們所面臨的許多問題的關(guān)鍵方案。

該論文的資深作者、研究科學(xué)家Cornelia Fermüller說(shuō)：“憑借其獨(dú)特的功能，事件傳感器和 AMI-EV 將在智能可穿戴設(shè)備領(lǐng)域占據(jù)中心位置。與傳統(tǒng)相機(jī)相比，它們具有明顯的優(yōu)勢(shì)，如在極端照明條件下的卓越性能、低延遲和低功耗。這些特性非常適合虛擬現(xiàn)實(shí)應(yīng)用，例如，需要無(wú)縫體驗(yàn)以及快速計(jì)算頭部和身體動(dòng)作的應(yīng)用。”

在早期測(cè)試中，AMI-EV 能夠在各種情況下準(zhǔn)確捕捉和顯示運(yùn)動(dòng)，包括人體脈搏檢測(cè)和快速移動(dòng)的形狀識(shí)別。研究人員還發(fā)現(xiàn)，AMI-EV 能夠以每秒數(shù)萬(wàn)幀的速度捕捉運(yùn)動(dòng)，優(yōu)于大多數(shù)常見的商用相機(jī)，后者的平均捕捉速度為每秒 30 到 1000 幀。

這種更平滑、更逼真的運(yùn)動(dòng)描繪可能被證明在創(chuàng)造更身臨其境的增強(qiáng)現(xiàn)實(shí)體驗(yàn)和更好的安全監(jiān)控，以及改善天文學(xué)家捕捉太空?qǐng)D像的方式等任何方面都具有關(guān)鍵作用。

Aloimonos說(shuō)：“我們新穎的攝像系統(tǒng)可以解決許多具體問題，比如幫助自動(dòng)駕駛汽車識(shí)別道路上哪些是人，哪些不是。因此，它有許多大眾已經(jīng)在使用的應(yīng)用，比如自動(dòng)駕駛系統(tǒng)，甚至智能手機(jī)攝像頭。我們相信，我們新穎的攝像系統(tǒng)正在為未來(lái)更先進(jìn)、功能更強(qiáng)大的系統(tǒng)鋪平道路。”

審核編輯 黃宇