仿真是幫助機器人學習感知（從攝像機圖像中了解世界）、規劃（制定解決問題的行動序列）和控制（產生改變機器人位置和方向的電機指令）等新技能的一個必要工具。

機器人裝配在汽車、航空航天、電子和醫療設備行業中無處不在。設置機器人執行裝配任務是一個耗時且昂貴的過程，需要一整支團隊來設計機器人的軌跡并仔細劃定邊界。

在其他機器人技術領域，仿真已經成為不可或缺的工具，尤其是在發展 AI 的過程中。但機器人裝配涉及幾何復雜的緊密公差零件之間的高精度接觸。長期以來，仿真此類接觸緊密的活動在計算上的難度極高。

NVIDIA

近期在機器人裝配方面取得了進展，這使得超實時仿真成為可能。這種高速仿真能夠使用強大、先進的強化學習（RL）技術。借助 RL，虛擬機器人能夠探索仿真環境、獲得豐富的經驗，并通過智能試錯來學習有用的技能。將 RL 用于機器人裝配，可以最大限度地減少對操作者專業知識的需求、增加對變化的魯棒性并減少硬件磨損。sim-to-real?一詞指的就是將仿真環境中的技能轉移到現實世界。

將 RL 用于機器人裝配的最大挑戰之一，是機器人在仿真中學習的技能通常不能有效地轉移到現實世界的機器人上。出現這個問題是因為仿真器與現實世界之間存在物理學、電機信號和傳感器信號等方面的微妙差異。此外，現實世界的機器人可能會遇到在仿真器中從未見過的情況。這些問題被統稱為 reality gap（現實差距）。

什么是 IndustReal?

為了將 RL 用于具有挑戰性的裝配任務并解決現實差距問題，我們開發了 IndustReal。IndustReal 是一套用于幫助機器人解決仿真中的裝配任務，并將這些能力轉移到現實世界的算法、系統和工具。

IndustReal 主要提供：

一套使仿真機器人通過 RL 解決復雜裝配任務的算法。

一種解決現實差距，并在現實世界中部署時穩定機器人所學技能的方法。

一個現實世界機器人系統，將在仿真中訓練的裝配技能端到端地轉移到現實。

使研究人員和工程師能夠復制該系統的軟硬件工具套件。

IndustRealKit 是一套受 NIST Task Board 1（既定的機器人裝配基準）啟發的 3D 可打印資產 CAD 模型。

IndustRealLib 是一個輕量級的 Python 庫，可將在 NVIDIA Isaac Gym 仿真器中學到的技能部署到現實世界的 Franka Emika Panda 機器人臂上。

和裝配齒輪的策略（上一行），

然后將這些策略部署到現實世界中（下一行）。

訓練算法和部署方法

在這項工作中，我們提出了三種算法幫助機器人在仿真中使用 RL 學習裝配技能。我們還提出了一種使現實世界的機器人能夠執行這些技能的部署方法。

仿真感知策略更新

像 NVIDIA Isaac Gym 和 NVIDIA Isaac Sim 這樣的機器人仿真器在滿足現實世界的物理學同時，還要滿足許多物理限制，其中最重要的一項是物體不能相互重疊，或者說“互穿”。在大多數仿真器中，物體之間的小規模互通不可避免，尤其是在實時執行時。

我們引入了仿真感知策略更新（SAPU），為仿真機器人提供關于仿真預測何時可靠或不可靠的認知。具體而言，在 SAPU 中，我們在 NVIDIA Warp 中實現了一個基于 GPU 的模塊，從而在機器人學習如何使用 RL 裝配零件時檢查是否存在互穿。

當互穿規模小時，我們對機器人的仿真體驗進行加權，而當互穿規模大時，我們就減少加權。該策略可以防止仿真機器人利用不準確的物理規則解決任務，進而導致無法將它學習的技能轉移到現實世界中。

有向距離場獎勵

為了使用 RL 解決任務，必須定義一個獎勵信號（例如衡量機器人在解決任務方面取得了多少進展）。然而，在裝配過程中，很難根據形狀復雜零件的對齊情況來定義一個獎勵信號。

于是我們引入了有向距離場（SDF）獎勵，以便衡量仿真零件在裝配過程中的對齊程度。SDF 是一個數學函數，它可以從一個物體上的點計算出到另一個物體表面的最短距離。這種自然、通用的方法可以描述零件之間的對齊情況，高度對稱或不對稱都不例外。

在 SDF 獎勵中，我們將獎勵信號定義為裝配過程中一個零件的當前位置和目標位置之間的 SDF 距離。

圖 2. 一個圓形釘子的 SDF 2D 切片可視化圖。

顏色代表從指定的點到釘子表面的最短距離

基于樣本的課程

課程學習是一種成熟的 RL 方法，可解決涉及到許多單獨步驟或動作的問題。畢竟，機器人在學習過程中所面對的任務難度會逐漸增加。

在我們的裝配任務中，機器人首先解決簡單的裝配問題（即零件已完成部分裝配），然后再升級到更難的問題（即零件已被拆解）。

隨著零件之間的初始接觸逐漸減少，零件會在某個時刻不再有初始接觸點。由于機器人的知識已過度偏向于部分裝配的情況，這種難度上的陡增會導致性能崩潰。

我們為仿真機器人引入了一個基于樣本的課程（SBC）來逐步學習復雜的裝配任務。在課程的所有階段都要求機器人解決各種難度范圍內的抽樣裝配問題，但會逐漸刪除問題分布中最簡單的問題。在課程的最后階段，各個零件在一開始就完全不接觸。請看下面的可視化圖。

圖 3. 基于樣本的課程的不同階段。

任務難度從左到右隨插頭（黃色球體）

初始位置的分布遠離插座（米色）而增加。

策略級行動整合器

在最常見的機器人 RL 應用中，通過對機器人的姿勢（即其位置和方向）進行增量調整來產生機器人的動作。這些增量被應用于機器人的當前姿態，以產生一個瞬時的目標姿勢。如果應用于現實世界中的機器人，由于實際機器人的復雜性，這種策略可能會導致機器人的最終姿勢與其最終目標姿勢之間產生差異。

我們還提出了一個策略級行動整合器（PLAI）。這是一種簡單的算法，在現實世界的機器人上部署學習到的技能時，可以減少穩態（即長期的）錯誤。我們將增量調整應用于先前的瞬時目標姿勢，以產生新的瞬時目標姿勢。

在數學上（類似于經典 PID 控制器的積分項），這種策略產生的瞬時目標姿勢是初始姿勢和機器人隨時間產生的動作之和。該技術即便在復雜的實際情況下，也可以使機器人的最終姿勢與最終目標姿勢之間的誤差最小化。

機器人正試圖移動到一個目標位置，期間我們比較了標準（標稱）策略、PLAI 算法和經典的 PID 控制器在抵達任務上的表現。請看下面的可視化圖。

系統和工具

通過 IndustReal 進行現實世界實驗所使用的裝置，包括一個 Franka Emika Panda 機器人臂、安裝在機器人手上的英特爾 RealSense D435 攝像頭，以及一個帶有零件的裝配平臺。

IndustReal 提供用于復制本文中介紹的系統所需要的硬件（IndustRealKit）和軟件（IndustRealLib）。

IndustRealKit 包含可 3D 打印的 20 個零件的 CAD 模型，涵蓋了這項工作中使用到的所有零件。這些模型帶有 6 個釘子支架、6 個釘子插座、3 個齒輪、1 個齒輪底座（帶 3 個齒輪軸）以及 4 個 NEMA 連接器和插座支架，均使用美標插頭和電源插座。

采購清單包括 17 個零件：6 個金屬釘子（NIST 基準）、4 個 NEMA 連接器和插座、1 個光學平臺以及緊固件。

IndustRealLib 是一個輕量級庫，包含了將在仿真中通過 RL 學到的技能部署到現實世界機器臂上所需要的代碼。具體而言，我們為用戶提供腳本，以便他們把在 NVIDIA Isaac Gym 仿真器中訓練的控制策略（即將傳感器信號映射到機器人行動的神經網絡）迅速部署到 Franka Emika Panda 機器人上。

未來發展方向

IndustReal 展示了一條在機器人裝配任務中充分發揮仿真潛力的路徑。隨著仿真變得更加精準和高效，以及更多仿真轉現實的轉移技術被源源不斷地開發出來，我們已經預見到了將這項工作擴展到制造業其他任務（如螺絲緊固、電纜布線和焊接等）的眾多可能性。我們有理由相信，有朝一日，每一個先進的工業制造機器人都將使用這種技術進行仿真訓練，以便可以無縫、靈活地轉移到現實世界。

我們的下一步是將該系統擴展到包括更多的對象、裝配任務和復雜的環境。我們還打算開發更多的仿真轉現實技術，以便更加經濟、可靠、安全而順利地轉移學到的技能。

審核編輯：劉清