新型事件相機系統與標準事件相機系統對比圖。
馬里蘭大學計算機科學家領導的一個研究小組發明了一種照相機裝置,可以改善機器人觀察周圍世界并做出反應的方式。受人眼工作原理的啟發,他們的創新型照相機系統模仿了人眼為長期保持清晰穩定的視覺而進行的微小不自主運動。
該團隊在《科學機器人學》(Science Robotics)雜志上發表的一篇論文詳細介紹了這種名為 "人工微停滯增強事件相機"(AMI-EV)的相機的原型設計和測試過程。
論文的第一作者、UMD 計算機科學博士生Botao He說:"事件相機是一種相對較新的技術,與傳統相機相比,它能更好地跟蹤移動物體,但如今的事件相機很難在有大量運動時捕捉到清晰、無模糊的圖像。"
"這是一個大問題,因為機器人和許多其他技術,例如自動駕駛汽車,都需要準確及時的圖像才能對不斷變化的環境做出正確反應。因此,我們捫心自問: 人類和動物如何確保自己的視覺始終聚焦在移動的物體上?
對于賀的團隊來說,答案就是微注視,即人在試圖集中視線時不由自主地發生的細微而快速的眼球運動。通過這些微小而持續的運動,人眼可以長時間準確地保持對物體及其視覺紋理(如顏色、深度和陰影)的關注。
他說:“我們認為,就像我們的眼睛需要這些微小的運動來保持聚焦一樣,相機也可以利用類似的原理來捕捉清晰準確的圖像,而不會因為運動而導致模糊。”
研究小組在 AMI-EV 內部插入了一個旋轉棱鏡,以重新定向鏡頭捕捉到的光束,從而成功復制了微小運動。棱鏡的連續旋轉運動模擬了人眼自然發生的運動,使相機能夠像人一樣穩定所記錄物體的紋理。研究小組隨后開發了一款軟件,用于補償 AMI-EV 中棱鏡的移動,從而從移動的燈光中整合出穩定的圖像。
研究報告的共同作者、UMD 計算機科學教授 Yiannis Aloimonos 認為,該團隊的發明是在機器人視覺領域邁出的一大步。
我們的眼睛會對周圍的世界進行拍照,然后將照片發送到大腦,在大腦中對圖像進行分析。感知就是通過這個過程發生的,這就是我們理解世界的方式,馬里蘭大學高級計算機研究所(UMIACS)計算機視覺實驗室主任Aloimonos解釋說。他還兼任馬里蘭大學高級計算機研究所計算機視覺實驗室主任,他解釋說:“在使用機器人時,可以用攝像頭代替眼睛,用計算機代替大腦。更好的攝像頭意味著機器人有更好的感知和反應能力”。
研究人員還認為,他們的創新可能會在機器人和國防之外產生重大影響。在依賴精確圖像捕捉和形狀檢測的行業工作的科學家們一直在尋找改進相機的方法,而 AMI-EV 可能是解決他們所面臨的許多問題的關鍵方案。
該論文的資深作者、研究科學家Cornelia Fermüller說:“憑借其獨特的功能,事件傳感器和 AMI-EV 將在智能可穿戴設備領域占據中心位置。與傳統相機相比,它們具有明顯的優勢,如在極端照明條件下的卓越性能、低延遲和低功耗。這些特性非常適合虛擬現實應用,例如,需要無縫體驗以及快速計算頭部和身體動作的應用。”
在早期測試中,AMI-EV 能夠在各種情況下準確捕捉和顯示運動,包括人體脈搏檢測和快速移動的形狀識別。研究人員還發現,AMI-EV 能夠以每秒數萬幀的速度捕捉運動,優于大多數常見的商用相機,后者的平均捕捉速度為每秒 30 到 1000 幀。
這種更平滑、更逼真的運動描繪可能被證明在創造更身臨其境的增強現實體驗和更好的安全監控,以及改善天文學家捕捉太空圖像的方式等任何方面都具有關鍵作用。
Aloimonos說:“我們新穎的攝像系統可以解決許多具體問題,比如幫助自動駕駛汽車識別道路上哪些是人,哪些不是。因此,它有許多大眾已經在使用的應用,比如自動駕駛系統,甚至智能手機攝像頭。我們相信,我們新穎的攝像系統正在為未來更先進、功能更強大的系統鋪平道路。”
審核編輯 黃宇
-
機器人
+關注
關注
212文章
29068瀏覽量
210265 -
相機
+關注
關注
4文章
1405瀏覽量
54267
發布評論請先 登錄
相關推薦
賓夕法尼亞大學:開發出揭示亞原子信號的新型量子傳感技術

我國科學家制備出可控手性石墨烯卷
西湖大學:科學家+AI,科研新范式的樣本

采用背照式技術的新型科學 CMOS 相機

AI for Science:人工智能驅動科學創新》第4章-AI與生命科學讀后感
《AI for Science:人工智能驅動科學創新》第一章人工智能驅動的科學創新學習心得
科學家開發出首臺可見光飛秒光纖激光器

中國科學家發現新型高溫超導體
新華社:突破性成果!祝賀我國科學家成功研發這一傳感器!

前OpenAI首席科學家創辦新的AI公司
科學家研制出一款新型柔性X射線探測器
科學家開發電驅動有機半導體激光器

我國科學家開發出新型激光切割技術
本源量子參與的國家重點研發計劃青年科學家項目啟動會順利召開

評論