NVIDIA 為 NVIDIA ISAAC Sim 發(fā)布了一個新的 NVIDIA Omniverse 機器人體驗，以幫助支持對機器人學中精確、可靠、易于使用的仿真工具的加速需求。隨著許多研究實驗室和大學的無限期關(guān)閉，世界各地的機器人專家都與他們開發(fā)、測試和部署自主機器所需的物理硬件和環(huán)境分離開來?，F(xiàn)在，更好的仿真工具比以往任何時候都能幫助機器人和自動化領(lǐng)域的重要工作向前發(fā)展。

這個機器人經(jīng)驗展示了 Omniverse 套件 中的 NVIDIA ISAAC Sim 仿真工具包。將 ISAAC Sim 構(gòu)建到 Omniverse 平臺中，相對于現(xiàn)有的機器人工作流程，它帶來了一些有用的改進：

它利用了 Omniverse Kit 的高精度物理模擬，直接集成了業(yè)界領(lǐng)先的物理框架，如用于剛體動力學的 NVIDIA Physx SDK 和用于流體動力學的 NVIDIA 流量 。

它重新關(guān)注互操作性，與 NVIDIA ISAAC 軟件開發(fā)工具包 和 ROS 的擴展進行了深度集成。

Omniverse 對于 ISAAC Sim 的體驗很容易擴展。現(xiàn)在您可以使用 Omniverse 工具包的 基于 Python 的腳本接口 和 擴展系統(tǒng) 來定制 ISAAC Sim 以適應(yīng)您自己的用例。

它是為可部署而構(gòu)建的，其體系結(jié)構(gòu)支持本地工作站上的工作流，在 NVIDIA Jetson 系列硬件的邊緣，并通過云與 NVIDIA NGC 一起使用。

下面我們將更詳細地了解此版本中包含的預(yù)覽和示例代碼。

橋接工作流

Omniverse ISAAC Sim 仿真環(huán)境支持兩個突出的機器人框架： NVIDIA ISAAC 軟件開發(fā)工具包 和 ROS 。

ISAAC SDK 是一個企業(yè)級框架，用于開發(fā)機器人人工智能、導(dǎo)航和操作應(yīng)用程序。 ISAAC Sim 使用 Robot Engine Bridge （REB） 擴展與 ISAAC SDK 通信，通過 TCP / IP 發(fā)送模擬傳感器數(shù)據(jù)、驅(qū)動器命令、地面真相和場景管理。 ISAAC SDK 文檔 突出了一系列的仿真場景，從復(fù)雜的多機器人自主倉庫導(dǎo)航到使用 Jupyter 筆記本的 簡單操作 。此外， ISAAC SDK 與 ISAAC Sim 為幾個基于 Jetson 的參考平臺（如 卡特 和 卡婭 機器人）橋接虛擬和物理機器人。

Omniverse ISAAC Sim 還支持 ROS ，這是一個機器人專家常用的框架。 ISAAC Sim ROS Bridge 擴展使機器人研究人員能夠利用 Omniverse ISAAC Sim 功能強大的多功能 GPU 實時仿真和協(xié)作平臺來擴充現(xiàn)有的工作流程。此版本提供了一個 喙樣 ，它將詳細介紹如何發(fā)布和訂閱主題，包括關(guān)節(jié)狀態(tài)、關(guān)節(jié)命令、 TF 、相機和 Lidar 主題。

圖 1 使用 ROS 網(wǎng)橋擴展來發(fā)布和訂閱不同的 rostopic 。這張截圖顯示了一只弗蘭卡熊貓機器人手臂的關(guān)節(jié)狀態(tài)流到 ROS 。

敏捷自動化

ISAAC Sim 在 Omniverse 中的另一個優(yōu)點是復(fù)雜的剛體動力學現(xiàn)在很容易在機器人和自動化場景中進行模擬。 UR10 示例應(yīng)用程序 使用通用機器人的 UR10 機械臂和一個基于吸力的抓取器來說明垃圾箱的填充和堆垛過程。在垃圾箱填充的例子中，用戶將不同的零件扔進一個機器人正在抓取的箱子里，直到箱子太重以至于吸力抓取器失靈。零件到處都是。然后，機器人手臂能夠檢測到掉落的垃圾箱，將其撿起來，并將其定位以接收新部件。雖然垃圾箱填充和堆垛是標準程序，但這些示例顯示了如何智能地擴展它們，使機器人自動化更加靈活和適應(yīng)動態(tài)環(huán)境。

UR10 示例應(yīng)用程序附帶了非常詳細的源代碼和文檔。它們展示了幾個核心仿真組件：

使用 URDF 進口商 加載機器人模型

為精益自動化創(chuàng)建狀態(tài)機

使用 黎曼運動策略 （ RMPs ）將傳統(tǒng)路徑規(guī)劃與高級運動生成相結(jié)合

模擬機器人上下的傳感器。

查看此擴展以了解如何為您自己的機器人應(yīng)用程序構(gòu)建端到端仿真。

定制機器人

除了 UR10 機器人之外， Omniverse ISAAC Sim 還有一個機器人、末端效應(yīng)器和環(huán)境的資產(chǎn)庫，可用于模擬。但是，您也可以使用 ISAAC Sim URDF importer 擴展來處理您自己的定制機器人。此擴展將導(dǎo)入一個 URDF 文件并將其轉(zhuǎn)換為 Omniverse 美元代表 ，使其成為高級模擬更可用、更持久的格式。 URDF Importer 擴展還附帶了幾個示例導(dǎo)入和 Python API ，用于加載和配置您自己的機器人。

在這個版本中，文檔有一個 所以取樣 ，它引導(dǎo)您完成為 Omniverse ISAAC Sim 導(dǎo)入和配置自定義機器人的過程。它以 NVIDIA 卡婭 作為參考硬件。 Kaya 是由 NVIDIA Jetson Nano 提供動力的 3D 打印機器人。它的目的是使先進的機器人技術(shù)為業(yè)余愛好者和教育者所用。然而，精確的仿真是一個特別具有挑戰(zhàn)性的參考平臺。它有幾個 CAD 文件，一個復(fù)雜的完整傳動系統(tǒng)，和許多傳感器，必須配置這些傳感器來模擬它的三維映射、定位、目標識別和里程計功能。您可以查看有關(guān)創(chuàng)建物理上精確的虛擬 Kaya 的文檔，以了解如何從 CAD 或 URDF 文件轉(zhuǎn)換為準備模擬的機器人。

圖 3 Kaya 示例展示了如何從 CAD 文件或 ISAAC Sim URDF importer 擴展中定制或 DIY 機器人仿真。

感知世界

在 Omniverse 機器人技術(shù)體驗中，您可以預(yù)覽機器人模擬的實時光線跟蹤的好處。除了逼真的視覺效果， Omniverse 實時光線跟蹤還模擬光的物理行為。這使得 ISAAC Sim 能夠精確地模擬幾種基于光的傳感器的物理特性，包括 RGB 相機、深度相機和激光雷達。 激光雷達樣品 演示了如何利用 ISAAC Sim 激光雷達 API 來創(chuàng)建和激活這些傳感器，用于訓練自主機器人。設(shè)置分辨率、視野和旋轉(zhuǎn)速率，以匹配物理機器人使用的激光雷達的硬件屬性。

圖 4 Omniverse ISAAC Sim 中的激光雷達擴展可用于模擬機器人的自主導(dǎo)航。

進行模擬

新的 Omniverse ISAAC Sim 體驗的最新版本展示了現(xiàn)代機器人仿真工具包如何使研究人員和開發(fā)人員受益。在 NVIDIA Omniverse 平臺上構(gòu)建該工具包，為機器人仿真提供了新的工作流程，是可用性、可擴展性和互操作性的一次重大升級。

關(guān)于作者

Madeline Gannon 是 NVIDIA 的機器人和人工智能研究人員，她專注于人類與機器人交互的工具。甘農(nóng)是世界經(jīng)濟論壇文化領(lǐng)袖，也是全球物聯(lián)網(wǎng)、機器人和智能城市理事會的理事。甘農(nóng)擁有卡內(nèi)基梅隆大學博士學位和佛羅里達國際大學建筑學碩士學位。

審核編輯：郭婷