自 2021 年 10 月起，NVIDIA 和 Open Robotics 開始合作并推出了兩項重要的改動，現已發布在Humble ROS 2版本中，以提高提供硬件加速器的計算平臺的性能。

新的 ROS 2 Humble 硬件加速特性包括類型適配和類型協商。NVIDIA 已于 2022 年 6 月底發布 NVIDIA Isaac ROS 并推出一個實現類型適配和類型協商的軟件包。

這些對框架的補充雖然簡單，但功能強大，并且能夠顯著提高性能。開發人員希望將 AI / 機器學習和計算機視覺功能納入其基于 ROS 的應用程序中。

Open Robotics 首席執行官 Brian Gerkey 表示：“隨著 ROS 開發人員向其機器人應用程序添加更多的自主權，機器人上的計算機正變得更加強大。我們一直在努力改進 ROS 框架，以確保它能夠利用這些邊緣計算機中的高性能硬件資源。”。

“我們與 NVIDIA 機器人團隊密切合作，并且很高興在 Humble 版本中分享新功能（類型適配和類型協商），這將有助于整個 ROS 社區去接受硬件加速。”

消除硬件加速的開銷

類型適配

硬件加速器通常需要不同的數據格式來提供最佳性能。類型適配（REP-2007）現在可用于 ROS 節點，使其以更適合硬件的格式工作。處理管道可以使用自適應類型消除 CPU 和內存加速器之間的內存拷貝。不必要的內存拷貝會消耗 CPU 計算、浪費電力并降低性能，尤其是隨著圖像大小的增加。

類型協商

另一個新的創新是類型協商（REP-2009）。處理管道中的不同 ROS 節點可以公布其支持的類型，以便選擇產生理想性能的格式。ROS 框架執行此協商過程，并與不支持協商的遺留節點保持兼容性。

使用類型適配和協商加速處理管道，讓硬件加速器零拷貝成為可能。這減少了軟件開銷，并釋放了底層硬件的潛力。隨著機器人專家向 NVIDIA Jetson AGX Orin 等更強大的平臺遷移，他們可以期望實現更多硬件性能的提升。

這些改動完全在 ROS 2 內部完成，這確保了與現有工具、工作流和代碼庫的兼容性。

類型適配和類型協商已顯示出有希望的結果。在 ROS 2 Foxy 和 ROS 2 Humble 上運行了一個由 ROS 節點圖組成的基準測試，每個節點的計算量最小，因此我們可以觀察到底層框架的性能。我們在NVIDIAJetson AGX Xavier和新的NVIDIA Jetson AGX Orin運行了這一基準測試，我們觀察到 NVIDIA Jetson AGX Xavier 有 3 倍的提高，而 NVIDIA Jetson AGX Orin 有驚人的7 倍提高。

引入NVIDIA Issac用于ROS傳輸

NVIDIA 對類型適配和協商的實現稱為NITROS。這些是由 Isaac ROS 硬件加速模塊（又稱為 GEMs）組成的 ROS 處理管道。這些管道在 Isaac ROS 開發者預覽（DP）中提供，并且已于 2022 年 6 月底發布。NITROS 的首次發布將包括三條管道，計劃在今年晚些時候推出更多管道。

強大的新型GEMs輔助機器人感知

除了 NITROS 加速管道外，IsaacROS DP 版本還包含兩個新的基于 DNN 的 GEM，旨在幫助機器人專家完成常見的感知任務。

第一個 GEM——ESS是用于立體相機視差預測的 DNN。該網絡為機器人應用提供基于視覺的連續深度感知。

另一個 GEM——Bi3D是用于基于視覺的障礙預測的 DNN 。基于 NVIDIA Research 的開創性工作，對 DNN 進行了改進，以檢測自由空間，同時預測障礙物。該網絡可預測障礙物是否位于立體攝像頭的四個可編程鄰近區域之一。

Bi3D 經過優化，可在 NVIDIADLA 硬件上運行。利用 DLA，可以同時保留 GPU 和 CPU 計算資源。

Bi3D 和 ESS 都經過預訓練，可應用于使用合成和真實數據的機器人，并擬用于商業用途。這兩款新的Isaac ROS GEM加入了stereo_image_proc，這是此前發布的經典計算機視覺立體深度視差程序，為立體相機深度感知提供了三種不同的、獨立的功能。

快速入門

ROS 開發人員若有興趣將 NVIDIA AI 感知集成到其產品中，可以從今天開始使用 Isaac ROS。

審核編輯：湯梓紅