科學(xué)家和工程師們正在聯(lián)合開發(fā)搭載 NVIDIA Jetson 的海底研究助手，以收集有關(guān)珊瑚礁、海洋生物和生態(tài)系統(tǒng)的數(shù)據(jù)。

研究人員正在讓機器人“深度學(xué)習(xí)”深海潛水

圖片來源：Austin Greene, 伍茲霍爾海洋研究所

伍茲霍爾海洋研究所（WHOI）自主機器人與感知實驗室（WARPLab）和麻省理工學(xué)院（MIT）正在開發(fā)一種用于研究珊瑚礁及其生態(tài)系統(tǒng)的機器人。

由 NVIDIA Jetson Orin NX 模塊支持的 WARPLab 自主潛水器（AUV）是這一全球最大的私人海洋研究機構(gòu)做出的一次努力，以扭轉(zhuǎn)珊瑚礁減少的趨勢。

根據(jù)伍茲霍爾海洋研究所珊瑚礁解決方案倡議（WHOI Reef Solutions Initiative）的數(shù)據(jù)，在過去三十年中，全球約有 25% 的珊瑚礁消失，剩下的珊瑚礁也大多正在瀕臨滅絕。

這臺名為 CUREE（Curious Underwater Robot for Ecosystem Exploration，好奇的水下生態(tài)探索機器人）的自主潛水器，能夠與潛水員一起收集視覺、聲音和其他環(huán)境數(shù)據(jù)，幫助研究人員了解人類對珊瑚礁及其周圍海洋生物的影響。該機器人借助不斷擴展的 NVIDIA Jetson 邊緣 AI 功能，建立起珊瑚礁的 3D 模型，并跟蹤動植物。它還能通過運行模型來實現(xiàn)自主導(dǎo)航和數(shù)據(jù)收集。

WHOI 的潛水艇曾于 1986 年首次探索泰坦尼克號，研究所目前正在開發(fā)用于數(shù)據(jù)收集的 CUREE 機器人，以擴展這項工作的規(guī)模并協(xié)助制定緩解策略。該機構(gòu)還在探索如何使用仿真和數(shù)字孿生來更好地復(fù)制珊瑚礁的狀況，并研究像 NVIDIA Omniverse（用于構(gòu)建和連接 3D 工具和應(yīng)用的開發(fā)平臺）這樣的解決方案。

NVIDIA 正在 Omniverse 中創(chuàng)建地球的數(shù)字孿生，并正在開發(fā)世界上最強大的人工智能超級計算機 Earth-2，用于預(yù)測氣候變化。

水下 AI：DeepSeeColor 模型

浮潛過的人都知道，在水下看東西可不像在陸地上那么清晰。隨著距離的增加，水會削弱水下太陽光的可見光譜，使某些顏色比其他顏色更加暗淡。同時，水中的微粒會造成朦朧的視野，即所謂的反向散射。

WARPLab 的一個團隊最近發(fā)表了一篇關(guān)于海底視覺校正的研究論文，幫助緩解了這些問題，并為 CUREE 的工作提供了幫助。這篇論文描述了一個名為 DeepSeeColor 的模型，該模型在海底使用兩個卷積神經(jīng)網(wǎng)絡(luò)序列減少反向散射，并在 NVIDIA Jetson Orin NX 上實時校正顏色。

麻省理工學(xué)院機器人學(xué)博士候選人、WARPLab AI 開發(fā)者 Stewart Jamieson 表示：“NVIDIA GPU 參與了我們的大部分工作流程。一般來說，當(dāng)有圖像進來時，我們就會使用 DeepSeeColor 校正顏色，然后就可以探測魚類，并將探測結(jié)果傳送給船上的科學(xué)家?！?/p>

水下視覺與聽覺：魚類和珊瑚礁探測

CUREE 配備了四個前向攝像頭、四個用于捕捉水下聲音的水聽器以及多個深度傳感器和慣性測量單元傳感器。由于全球定位系統(tǒng)（GPS）無法在水下工作，因此只能在水面上用它來初始化機器人的起始位置。

借助攝像頭、水聽器和在 Jetson Orin NX 上運行的 AI 模型，CUREE 能夠收集數(shù)據(jù)，并以此制作出珊瑚礁和海底地形的 3D 模型。

為了使用水聽器收集音頻數(shù)據(jù)，CUREE 需要在關(guān)閉馬達的情況下漂浮在水中，以避免干擾音頻。

WARPLab 負(fù)責(zé)人、WHOI 副研究員 Yogesh Girdhar 表示：“它可以利用不同動物發(fā)出的聲音，繪制出珊瑚礁的空間聲景地圖?！彼a充道：“我們目前（在后期處理中）可以探測到與生物多樣性熱點相關(guān)的所有叫聲所在的位置?！彼傅氖呛Ｑ笊锇l(fā)出的所有噪聲。

該團隊一直在訓(xùn)練根據(jù)音頻和視頻輸入來追蹤生物的探測模型。但在探測清晰的音頻樣本時，有一種生物的噪音干擾特別大。

Girdhar 提到：“問題在于水下槍蝦的叫聲很大?！痹陉懙厣?，如何將聲音從背景噪音中分離這一經(jīng)典難題被稱為“雞尾酒會問題”。Girdhar 說：“如果我們能找到一種算法來消除音頻中蝦叫聲的影響就好了，但目前還沒有好的解決方案?！?/p>

麻省理工學(xué)院 - WHOI 聯(lián)合項目博士候選人 Levi Cai 表示，盡管現(xiàn)有的水下數(shù)據(jù)集很少，但魚類探測和追蹤這一開創(chuàng)性的工作進展很順利。他表示他們正在采用一種半監(jiān)督方法進行海洋動物追蹤，即通過使用魚類探測神經(jīng)網(wǎng)絡(luò)探測到的目標(biāo)對追蹤進行初始化。該網(wǎng)絡(luò)在開源的魚類探測數(shù)據(jù)集上訓(xùn)練而成，這些數(shù)據(jù)集使用 CUREE 收集到的圖像進行遷移學(xué)習(xí)并進行微調(diào)。

Cai 提到：“我們先手動駕駛潛水器，直到看到想要追蹤的動物，然后點擊它，讓半監(jiān)督追蹤器接手?！?/p>

Jetson Orin 利用能效驅(qū)動 CUREE

能效對于像 CUREE 這樣的小型自動潛水器來說至關(guān)重要。數(shù)據(jù)收集所需的計算消耗了約 25% 的可用能源，剩余的能源則用于驅(qū)動機器人。

在圣約翰島（美屬維爾京群島島嶼）執(zhí)行潛水任務(wù)的 Girdhar 談到，根據(jù)珊瑚礁任務(wù)和觀測要求，一般來說，CUREE 充電一次可以工作兩個小時。

為了提高能效，該團隊正在研究使用 AI 來管理傳感器，從而使計算資源能夠在進行觀測時自動喚醒，并在不使用時自動休眠。

Girdhar 表示：“我們的機器人很小，所以用在 GPU 計算上的能量就很重要。借助 Jetson Orin NX，我們解決了功耗問題，它還使我們的系統(tǒng)變得更加穩(wěn)健?！?/p>

探索如何使用 Isaac Sim 進行改進

WARPLab 團隊正在嘗試使用 NVIDIA Isaac Sim（一款由 Omniverse 提供動力支持、可擴展的機器人仿真應(yīng)用和合成數(shù)據(jù)生成工具），以加快 CUREE 自主性和觀測能力的開發(fā)。

Yogesh 表示此舉的目標(biāo)是在 Isaac Sim 中進行簡單的仿真，以便了解需要仿真的問題的核心，然后在真實的海底世界中完成訓(xùn)練。他表示：“在珊瑚礁環(huán)境中，我們不能依賴聲納，而是需要近距離觀察。我們的目標(biāo)是觀察不同的生態(tài)系統(tǒng)和正在發(fā)生的過程?！?/p>

了解生態(tài)系統(tǒng)并制定緩解策略

WARPLab 團隊打算將 CUREE 平臺提供給他人使用，使人們了解到人類對海底環(huán)境造成的影響，并幫助制定緩解策略。

研究人員計劃學(xué)習(xí)從數(shù)據(jù)中發(fā)現(xiàn)的模式。Jamieson 表示，CUREE 提供了一個幾乎完全自主的數(shù)據(jù)收集‘科學(xué)家’，它可以將研究結(jié)果傳達給人類研究人員，“比起整天盯著屏幕、駕駛著它手動完成任務(wù)，‘科學(xué)家’的收獲多出了不少。”

Girdhar 表示，可以為珊瑚礁等生態(tài)系統(tǒng)構(gòu)建一個網(wǎng)絡(luò)模型，不同節(jié)點對應(yīng)不同類型的物種和棲息地。所有這些不同的相互作用都在這個網(wǎng)絡(luò)中發(fā)生，研究人員可通過了解這個網(wǎng)絡(luò)來了解各種動物與其棲息地之間的關(guān)系。

他表示：“我們希望使用 CUREE AUV 收集到足夠多的數(shù)據(jù)，從而全方位了解生態(tài)系統(tǒng)及其如何隨著時間的推移而發(fā)展，以及它們?nèi)绾问艿礁劭?、農(nóng)藥、碳排放和潛水旅游的影響，這樣我們就能更好地設(shè)計和落實干預(yù)措施，并確定一些問題，比如說假設(shè)我們種植新的珊瑚，它們將會如何逐漸改變珊瑚礁。”

訪問鏈接進一步了解 NVIDIA Jetson Orin NX：

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/

Omniverse：

https://www.nvidia.com/en-us/omniverse/

Earth-2：

https://www.nvidia.com/en-us/high-performance-computing/earth-2/

*本文中圖片來源于伍茲霍爾海洋研究所，如您有任何疑問或需要使用該圖片，請聯(lián)系伍茲霍爾海洋研究所。