在 2025 CES，NVIDIA 宣布了對(duì)NVIDIA Isaac的重要更新。NVIDIA Isaac 是一個(gè)由加速庫、應(yīng)用框架和 AI 模型組成的平臺(tái)，可加速 AI 機(jī)器人的開發(fā)。

NVIDIA Isaac 簡(jiǎn)化了從仿真到實(shí)際部署的機(jī)器人系統(tǒng)開發(fā)流程。本文將聚焦 NVIDIA Isaac 的更新：

Isaac Sim

Isaac Lab

Isaac Manipulator

Isaac Perceptor

Isaac Sim 4.5 的更新

NVIDIA Isaac Sim 是一款基于NVIDIA Omniverse構(gòu)建的參考應(yīng)用程序，用于在基于物理的虛擬環(huán)境中開發(fā)、仿真和測(cè)試由 AI 驅(qū)動(dòng)的機(jī)器人。

將于 1 月底推出的全新 Isaac Sim 4.5 將有一系列重大更新，包括以下內(nèi)容：

參考應(yīng)用程序模板

改進(jìn)的 URDF 導(dǎo)入和設(shè)置

改進(jìn)的物理仿真和建模

新的關(guān)節(jié)可視化工具

仿真精度和統(tǒng)計(jì)數(shù)據(jù)

NVIDIA Cosmos世界基礎(chǔ)模型

參考應(yīng)用程序模板

Isaac Sim 已被重新設(shè)計(jì)為可定制的參考應(yīng)用程序。提供了一個(gè)啟動(dòng)速度更快的簡(jiǎn)化模板，以及一個(gè)具備完整功能和所有依賴項(xiàng)的完整模板。支持根據(jù)具體需求調(diào)整應(yīng)用，無論是用于無界面應(yīng)用程序還是完整的 Isaac Sim 體驗(yàn)。

改進(jìn)的 URDF 導(dǎo)入和設(shè)置

URDF 導(dǎo)入工具有了顯著改進(jìn)。優(yōu)化用戶界面，以提供更流暢的導(dǎo)入流程，并與其他格式的導(dǎo)入方式保持一致。同時(shí)，支持單獨(dú)配置關(guān)節(jié)驅(qū)動(dòng)器，導(dǎo)入后機(jī)器人即可立即使用。為了輔助關(guān)節(jié)驅(qū)動(dòng)配置，還提供了基于固有頻率的調(diào)諧選項(xiàng)。

優(yōu)化的物理仿真和建模

Isaac Sim 4.5 在物理建模和仿真方面有了重大進(jìn)展。用戶可以定義和配置機(jī)器人組件之間的各種關(guān)節(jié)類型，設(shè)置諸如剛度和阻尼等參數(shù)，以微調(diào)關(guān)節(jié)行為。

新增關(guān)節(jié)可視化工具

新增的關(guān)節(jié)可視化工具可檢查選定對(duì)象的物理屬性，包括其位置、旋轉(zhuǎn)、線速度和角速度以及加速度。此外，還能優(yōu)化場(chǎng)景參數(shù)，如可變形表面或內(nèi)存使用情況，在運(yùn)行仿真前進(jìn)行排查。

圖 1.所選對(duì)象的各種屬性及其與其他對(duì)象的關(guān)聯(lián)

仿真精度和統(tǒng)計(jì)功能

新的剛體和關(guān)節(jié)動(dòng)量守恒的實(shí)現(xiàn)，顯著提升了仿真精度。

開發(fā)者能夠可視化對(duì)象和場(chǎng)景的仿真統(tǒng)計(jì)數(shù)據(jù)，這些對(duì)象和場(chǎng)景可以相互交互，也可以完全獨(dú)立。通過查看從可變形表面到緩沖區(qū)中使用的總體內(nèi)存等不同參數(shù)，有助于在運(yùn)行仿真之前排查問題和優(yōu)化場(chǎng)景。

圖 2.給定場(chǎng)景內(nèi)的仿真統(tǒng)計(jì)數(shù)據(jù)

NVIDIA Cosmos 世界基礎(chǔ)模型

在 CES 上宣布的 NVIDIA Cosmos 平臺(tái)，結(jié)合 Isaac Sim 可生成大量可控的合成數(shù)據(jù)，可用于訓(xùn)練機(jī)器人感知系統(tǒng)。

在 Isaac Sim 中，可以通過統(tǒng)一各種數(shù)據(jù)輸入（包括 CAD、激光雷達(dá)點(diǎn)云掃描以及從諸如 Edify 3D 等 AI 模型生成的 3D 對(duì)象）來構(gòu)建適合仿真的 3D 場(chǎng)景。之后，通過編排和設(shè)置場(chǎng)景，以反映機(jī)器人必須執(zhí)行的特定任務(wù)，并渲染圖像或視頻。

Cosmos 可以攝取圖像和視頻，并輸出逼真的視頻片段，然后用于策略模型的再訓(xùn)練。

視頻 1.NVIDIA Cosmos：用于物理 AI 的世界基礎(chǔ)模型平臺(tái)

Isaac Lab 2.0 的更新

NVIDIA Isaac Lab是一個(gè)用于機(jī)器人學(xué)習(xí)以訓(xùn)練機(jī)器人策略的開源統(tǒng)一框架。Isaac Lab 基于 NVIDIA Isaac Sim 構(gòu)建，幫助開發(fā)者和研究人員更高效地構(gòu)建具備強(qiáng)大感知能力、且經(jīng)過仿真訓(xùn)練策略的智能、適應(yīng)性強(qiáng)的機(jī)器人。

本月底將推出新版 Isaac Lab 2.0，其在性能和可用性方面的改進(jìn)如下：

平鋪渲染：平鋪渲染速度提升高達(dá) 1.2 倍，它將來自同時(shí)進(jìn)行的仿真的輸出合并為一張打大圖像，而不是處理來自各個(gè)攝像頭的眾多小圖像。

用戶體驗(yàn)優(yōu)化：通過 Python 包管理器簡(jiǎn)化安裝流程。此外，Isaac Lab 將以容器形式提供，支持在不同系統(tǒng)間無縫遷移工作負(fù)載，無需依賴底層環(huán)境。

此次 CES 上首次發(fā)布了NVIDIA Isaac GR00T Blueprint，人形機(jī)器人開發(fā)者現(xiàn)在可以利用該Blueprint，通過少量人類示范構(gòu)建自定義數(shù)據(jù)管線，生成大量合成軌跡數(shù)據(jù)。目前，GR00T Blueprint 還處于僅限受邀用戶訪問的階段。加入人形機(jī)器人開發(fā)者計(jì)劃，以便在其進(jìn)入測(cè)試版時(shí)獲取使用權(quán)限。

視頻 2.使用 NVIDIA Isaac GR00T 簡(jiǎn)化數(shù)據(jù)收集

Isaac Manipulator 的更新

NVIDIA Isaac Manipulator基于 ROS 2 構(gòu)建，包括NVIDIA CUDA加速庫、AI 模型和參考工作流。通過這一工具，可以構(gòu)建 AI 驅(qū)動(dòng)的機(jī)械臂，這些機(jī)械臂能夠感知、理解并與周圍環(huán)境進(jìn)行交互。

Isaac Manipulator 現(xiàn)在包含用于拾取和放置以及物體跟蹤的全新端到端參考工作流，能夠支持快速進(jìn)行基本的工業(yè)機(jī)械臂開發(fā)任務(wù)：

物體跟蹤：展示了機(jī)器人夾爪在避開障礙物的同時(shí)，能保持與移動(dòng)物體的相對(duì)位置。

拾取和放置：展示了機(jī)器人如何在避開障礙物的情況下拾取物體并將其放置在預(yù)定區(qū)域（圖 3）。

圖 3.基于感知的拾取與放置

Isaac Sim 現(xiàn)在已經(jīng)支持以上參考工作流，無需設(shè)置物理硬件即可進(jìn)行快速測(cè)試。

開發(fā)者支持和其他改進(jìn)包括以下：

FoundationPose 的性能改進(jìn)

針對(duì)機(jī)械臂用例對(duì) nvblox 的更新

機(jī)器人手眼校準(zhǔn)教程

基于 Isaac Sim 的工具，用于為夾爪與物體組合設(shè)置和仿真自定義抓取動(dòng)作。

Isaac Perceptor 的更新

NVIDIA Isaac Perceptor 基于 ROS 2 構(gòu)建，包括一系列 NVIDIA CUDA 加速庫、AI 模型和參考工作流，用于開發(fā)自主移動(dòng)機(jī)器人（AMR）。它使 AMR 能夠在諸如倉庫或工廠等非結(jié)構(gòu)化環(huán)境中進(jìn)行感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速庫，如用于 3D 場(chǎng)景重建的 nvblox 和用于立體視覺慣性 SLAM（同時(shí)定位與地圖構(gòu)建）的 cuVSLAM，開發(fā)者可以將這些庫集成到現(xiàn)有的 AMR 工作流中。

Isaac Perceptor 的最新更新顯著提升了 AMR 在諸如倉庫等動(dòng)態(tài)環(huán)境中的環(huán)境感知能力和操作效率。主要的新功能和改進(jìn)包括：

全新的端到端視覺 SLAM 參考工作流

關(guān)于使用多個(gè)攝像頭運(yùn)行 nvblox 進(jìn)行 3D 場(chǎng)景重建（含人員檢測(cè)和動(dòng)態(tài)場(chǎng)景元素）的新示例

通過在多個(gè) RGB-D 相機(jī)上運(yùn)行 Isaac Perceptor 改進(jìn) 3D 場(chǎng)景重建

這些更新顯著提升了 3D 場(chǎng)景重建能力，使得在真實(shí)場(chǎng)景以及復(fù)雜多變的環(huán)境中，3D 場(chǎng)景捕捉與地圖繪制性能的精度和穩(wěn)定性都得到了提高。

圖 4.基于多攝像頭的 3D 場(chǎng)景重建

NVIDIA 生態(tài)系統(tǒng)合作伙伴，如奧比中光、立普思（Realsense）、StereoLabs（Zed）提供兼容的攝像頭。開發(fā)者支持還包括“使用 Isaac Perceptor 進(jìn)行建圖與定位”教程，該教程介紹如何利用 Nova 傳感器，結(jié)合 cuVGL 和 cuVSLAM 庫實(shí)現(xiàn)離線建圖功能。

生態(tài)合作伙伴的應(yīng)用情況

多個(gè)行業(yè)合作伙伴已宣布將 NVIDIA Isaac 集成到他們的平臺(tái)和解決方案中：

波士頓動(dòng)力正在通過 Isaac Lab 和 NVIDIA Jetson AGX Orin，把仿真策略直接部署用于推理，從而簡(jiǎn)化了部署過程。

為了訓(xùn)練 GR-1 和 GR-2 人形機(jī)器人，傅利葉團(tuán)隊(duì)使用 NVIDIA Isaac Gym（現(xiàn)已棄用）進(jìn)行強(qiáng)化學(xué)習(xí)。他們目前正在將其工作流遷移到 NVIDIA Isaac Lab。

Foxglove在 Isaac Sim 中開發(fā)了一個(gè)擴(kuò)展程序，可實(shí)現(xiàn)將機(jī)器人仿真數(shù)據(jù)實(shí)時(shí)可視化，并直接在 Foxglove 平臺(tái)上呈現(xiàn)。

Main Street Autonomy的 Calibration Anywhere 軟件使用 Isaac Perceptor 實(shí)現(xiàn)了傳感器校準(zhǔn)自動(dòng)化，改進(jìn)了機(jī)器人的傳感器融合。

Miso Robotics使用先進(jìn)的機(jī)器人技術(shù)、Isaac Manipulator 和NVIDIA Isaac ROS實(shí)現(xiàn)了廚房任務(wù)自動(dòng)化，提高了商業(yè)廚房的效率、標(biāo)準(zhǔn)化和客戶滿意度。

RGo Robotics和 NVIDIA 正在使用 Isaac Perceptor 和 Isaac ROS，通過先進(jìn)的 AI 和感知技術(shù)改造移動(dòng)機(jī)器人。

Scaled Foundations作為 NVIDIA 初創(chuàng)加速計(jì)劃的成員，開發(fā)了通用機(jī)器人智能開發(fā)（GRID）平臺(tái)，這是一個(gè)先進(jìn)的基于云的平臺(tái)，可加速機(jī)器人 AI 解決方案的開發(fā)。GRID 無縫集成了 Isaac Sim 和 Isaac Lab 技術(shù)，為機(jī)器人開發(fā)者和研究人員提供了一個(gè)端到端的平臺(tái)，用于訓(xùn)練、仿真和部署他們的機(jī)器人應(yīng)用程序。想要了解更多信息，請(qǐng)參閱基于 GRID 平臺(tái)的 NVIDIA Isaac Sim。

Virtual Incision正在使用包括 Holoscan、IGX、Sensor Bridge、Isaac Sim 在內(nèi)的 NVIDIA 平臺(tái)，并在探索使用 Cosmos 進(jìn)行訓(xùn)練、仿真和測(cè)試，同時(shí)也在探索適用于下一代輔助機(jī)器人手術(shù)設(shè)備的推理 AI 功能。

NVIDIA 初創(chuàng)加速計(jì)劃成員、深度科技初創(chuàng)公司W(wǎng)andelbots正在利用其操作系統(tǒng) Wandelbots NOVA 構(gòu)建定制化機(jī)器人仿真，該系統(tǒng)能夠與 Isaac Sim 實(shí)現(xiàn)無縫集成。

即刻開始開發(fā)您自己的

機(jī)器人解決方案

加入 NVIDIA 開發(fā)者計(jì)劃，獲取有關(guān)其他資源和參考架構(gòu)的更新，助力實(shí)現(xiàn)開發(fā)目標(biāo)：

https://developer.nvidia.cn/developer-program

NVIDIA Cosmos 可實(shí)現(xiàn)為物理 AI 系統(tǒng)構(gòu)建自定義世界模型，其中包括用于機(jī)器人應(yīng)用的預(yù)訓(xùn)練世界基礎(chǔ)模型。

NVIDIA Isaac Lab 是一個(gè)用于機(jī)器人學(xué)習(xí)的開源統(tǒng)一框架，用于訓(xùn)練機(jī)器人策略。

NVIDIA Isaac ROS 基于開源的 ROS 2 軟件框架構(gòu)建，包含一系列加速計(jì)算庫和 AI 模型，為全球各地的 ROS 開發(fā)者帶來 NVIDIA 的加速技術(shù)。

NVIDIA Isaac Sim 基于 NVIDIA Omniverse 構(gòu)建，可以構(gòu)建基于 OpenUSD 的應(yīng)用程序，在基于物理的虛擬環(huán)境中設(shè)計(jì)、仿真、測(cè)試和訓(xùn)練基于 AI 的機(jī)器人和機(jī)器。

GTC 2025 將于2025 年 3 月 17 至 21 日在美國(guó)加州圣何塞及線上同步舉行。