人形機器人是機電一體化、控制理論和 AI 交叉領域的一道綜合性難題。人形機器人的動力學和控制十分復雜，它們需要先進的工具、技術和算法才能在移動和操作任務中保持平衡。由于人形機器人需要融合復雜的傳感器和高分辨率攝像頭，才能有效感知環境并推理如何與周圍環境進行實時互動，因此另一大難題是機器人數據的采集和各種傳感器的集成。此外，為了滿足實時處理感知數據和決策所需要的算力，還需要有功能強大的機載計算機。

當前的研究重點仍是開發能夠實現機器人自適應行為并促進人與機器人自然交互的技術、工具與機器人基礎模型。我們正在積極開展 NVIDIA Project GR00T 研究計劃，旨在幫助人形機器人生態系統構建者加快下一代先進機器人的開發工作。本文將討論用于開發人形機器人的全新 GR00T 工作流，包括：

GR00T-Gen 多樣化環境生成工作流

GR00T-Mimic 機器人運動和軌跡生成工作流

GR00T-Dexterity 精細靈巧操作工作流

GR00T-Mobility 移動和導航工作流

GR00T-Control 全身控制（WBC）工作流

GR00T-Perception 多模態感知工作流

GR00T-Gen 多樣化環境

生成工作流

GR00T-Gen 是一套在 OpenUSD 中生成機器人任務和仿真就緒環境的工作流，用于訓練通用機器人執行操縱、移動和導航。

為了讓機器人學習得更“扎實”，需要在具有各種物體和場景的多樣化環境中進行訓練。但通常情況下，在現實世界中生成大量不同環境既昂貴又耗時，而且大多數開發者還無法使用，因此仿真成為了一個極佳的替代方案。

GR00T-Gen 使用大語言模型（LLM）和 3D 生成式 AI 模型創建并提供以人為本的逼真、多樣化環境。它擁有 2500 多個 3D 資產，涵蓋了 150 多個物體類別。為了創建視覺多樣化場景，在仿真中加入了多種紋理以實現域隨機化。域隨機化使訓練而成的模型和策略在部署到現實世界中時能夠有效地泛化。

GR00T-Gen 為移動機械臂和人形機器人提供了跨具身支持并且包含了 100 多種任務，例如開門、按鍵和導航。

GR00T-Mimic 機器人運動

和軌跡生成工作流

GR00T-Mimic 是一個強大的工作流，它可從遠程操作演示中生成用于模仿學習的運動數據。模仿學習是一種訓練機器人的方法，機器人通過觀察和復制教師演示的動作來掌握技能。該訓練過程的一個關鍵要素是可用演示數據的數量和質量。

人形機器人要想有效、安全地在以人為中心的環境中移動，其“老師”必須是人類示范者，這樣才能讓機器人通過模仿人類行為來學習。但現有的高質量訓練數據十分匱乏，這就帶來了巨大的挑戰。

為了解決這個問題，需要開發能夠捕捉人類行為的大量數據集。生成這種數據的可行方法之一是遠程操作，即人類操作員遠程控制機器人演示特定任務。雖然遠程操作可以生成高保真的演示數據，但在特定時間能夠訪問這些系統的人數有限。

GR00T-Mimic 旨在擴大數據采集流程的規模。該方法包括在物理世界中使用擴展現實（XR）和空間計算設備（如 Apple Vision Pro）采集數量有限的人類演示。然后利用這些初始演示生成合成運動數據，從而有效地擴大演示數據集。我們的目標是創建一個全面的人類動作庫供機器人學習，從而提高它們在真實世界環境中執行任務的能力。

為了進一步支持 GR00T-Mimic，NVIDIA Research 還發布了 SkillMimicGen。這是利用最少的人類演示解決實機操縱任務的第一步。

GR00T-Dexterity 精細靈巧

操作工作流

GR00T-Dexterity 是一套用于精細靈巧操作的模型和策略并包含開發這些模型和策略的參考工作流。

傳統的機器人抓取需要集成從識別抓取點到規劃運動和控制手指等多個復雜環節。對于有許多執行器的機器人來說，管理這些系統（尤其是使用狀態機來處理抓取失敗等故障）使端到端抓取成為了一大難題。

GR00T-Dexterity 引入了一個借鑒研究論文 DextrAH-G 的工作流。該工作流是一種基于強化學習（RL）的機器人靈巧性策略開發方法。借助它，可以創建出像素到動作的端到端抓取系統。該系統經過仿真訓練后，可部署到物理機器人上。該工作流專為生成能夠根據輸入的深度數據流進行快速、反應性抓取的策略而設計，并且可以泛化到新物體。

該流程涉及創建一個幾何織物定義機器人的運動空間和簡化抓取動作，同時針對并行化訓練進行優化。通過使用 NVIDIA Isaac Lab，可在多顆 GPU 上使用強化學習訓練織物引導的策略，從而泛化抓取行為。最后，通過模仿學習，可利用輸入的深度將學習到的策略提煉為適用于現實世界的版本，從而在數小時內制定出穩健的策略。

請注意，GR00T-Dexterity 工作流預覽版基于研究論文 DextrAH-G：使用幾何織物實現像素到動作的靈巧機械臂-手抓取，并已從 NVIDIA Isaac Gym（已廢棄）遷移到 Isaac Lab。如果您是 Isaac Gym 用戶，請按照教程和遷移指南開始使用 Isaac Lab。

GR00T-Mobility 移動和

導航工作流

GR00T-Mobility 是一套用于移動和導航的模型和策略并包含開發這些模型和策略的參考工作流。

傳統的導航方法在雜亂環境中難以發揮作用并且需要進行大量的調整，而基于學習的方法難以泛化到新的環境。

GR00T-Mobility 引入了一套基于 Isaac Lab 支持的強化學習（RL）和模仿學習（IL）構建的新型工作流，專門用于創建適用于不同環境和具身的通用移動導航方法。

借助使用 NVIDIA Isaac Sim 構建的世界模型，該工作流可生成豐富的環境動態潛在表示，以此實現了更具適應性的訓練。它將世界建模與行動策略學習和RL微調分離，從而提高了靈活性，并且由于支持多樣化的數據源而具有更高的通用性。

僅在 Isaac Sim 提供的逼真合成數據集上（使用該工作流）訓練而成的模型實現了零樣本仿真到現實轉換，并且可應用于一系列具身，包括差動驅動、Ackermann、四足動物和人形等。

該工作流以 NVIDIA 應用研究團隊在 X-MOBILITY：通過世界建模實現端到端可泛化導航中展示的研究成果為基礎。

圖 1. 通過使用 Isaac Sim 通過的合成數據集，

GR00T-Mobility 工作流將世界建模和行動策略訓練相結合，

實現了可泛化的導航與零樣本仿真到現實轉換。

GR00T-Control 全身控制工作流

GR00T-Control 是一套用于開發 WBC 的先進運動規劃和控制程序庫、模型、策略與參考工作流。參考工作流可運用于各種平臺、預訓練模型和加速程序庫。

WBC 對于實現精確、靈敏的人形機器人控制必不可少，尤其是在需要靈巧和移動的任務中。GR00T-Control 引入了一種基于學習的傳統模型預測控制（MPC）替代方案，其工作流與 NVIDIA 應用研究團隊開發的 Isaac Lab 相集成。這項工作基于 OmniH2O：通用和靈巧人類到人形機器人全身遠程操作與學習中展示的原創研究成果以及最新發布的 HOVER：人形機器人多功能中性全身控制器。

該參考工作流可幫助開發用于遠程操作和自主控制的人形機器人全身控制策略（WBC 策略）。OmniH2O 的遠程操作通過 VR 頭顯、RGB 攝像頭、口頭命令等輸入方法實現了高精度的人類控制。同時，HOVER 的多模態策略提煉框架促進了自主任務模式之間的無縫轉換，使其能夠適應復雜的任務。

WBC 策略工作流采用仿真到真實學習流程。該流程首先使用 Isaac Lab 作為 能夠訪問詳細運動數據的“教師”模型，通過強化學習在仿真中訓練特權控制策略。之后將該模型提煉成可部署的現實世界版本，該版本能夠在感官輸入有限的情況下運行，解決遠程操作延遲、VR 或視覺追蹤輸入受限（針對 OmniH2O）以及多種自主任務模式的適應性（針對 HOVER）等難題。

（使用 OmniH2O 工作流開發的）全身控制策略提供了 19 個自由度，實現了精確的人形機器人控制。

GR00T-Perception 多模態

感知工作流

GR00T-Perception 是一套先進的感知程序庫（例如 nvblox 和 cuVSLAM）、基礎模型（例如 FoundationPose 和 RT-DETR）以及基于 Isaac Sim 和 NVIDIA Isaac ROS 構建的參考工作流。這些參考工作流展示了如何在機器人解決方案中結合使用這些平臺、預訓練模型和加速程序庫。

ReMEmbR 是 GR00T-Perception 新增的一項重要功能，是一項應用研究參考工作流。該工作流通過讓機器人“記住”長期事件歷史增強人機交互，大大改善了個性化和情境感知響應，同時通過集成視覺語言模型、LLM和檢索增強記憶大幅提升人形機器人的感知、認知和適應能力。

借助 ReMEmbR，機器人能夠長期保留上下文信息，通過整合圖像、聲音等感官數據提高空間感知、導航和交互效率。該工作流遵循結構化的記憶構建和查詢流程，可部署在真實機器人上的 NVIDIA Jetson AGX Orin 上。

想要了解有關 ReMEmbR 的更多信息，請參閱使用生成式 AI 使機器人借助 ReMEmbR 進行推理和行動：

https://developer.nvidia.com/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/

圖 2. ReMEmbR 高級工作流包含兩個階段，

分別是記憶構建階段和信息查詢階段。

結論

通過 NVIDIA Project GR00T，我們正在構建能夠根據人形機器人開發者需求單獨或組合使用的先進技術、工具與 GR00T 工作流。這些改進有助于開發智能化水平更高、適應性和能力更強的人形機器人，推動人形機器人在現實世界應用中的發展。

進一步了解領先機器人公司如何使用 NVIDIA 平臺，包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、波士頓動力、Field AI、傅利葉、銀河通用、Mentee Robotics、Skild AI、Swiss-Mile、宇樹科技和小鵬機器人。