自動駕駛是機器人技術(shù)和機器學(xué)習(xí)中的一項重大挑戰(zhàn)，旨在改善所有人的出行方式。盡管過去十年取得了巨大的進展，現(xiàn)有的自動駕駛軟件在處理極其罕見的長尾場景方面依然存在局限性。因此，實時檢測并對突發(fā)異常做出響應(yīng)，對于確保安全性和可靠性至關(guān)重要。

本期 NVIDIA 自動駕駛實驗室介紹了，生成式 AI 技術(shù)被用于增強自動駕駛系統(tǒng)的安全性。在這項 NVIDIA 與斯坦福大學(xué)的合作中，雙方共同開發(fā)了一個算法，基于互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓(xùn)練的基礎(chǔ)模型，如大語言模型（LLM）。該算法展現(xiàn)出了零樣本泛化的能力，能夠有效檢測和緩解機器人系統(tǒng)的分布外故障模式。這一合作成果在 RSS（Robotics：Science and Systems）2024 上榮獲優(yōu)秀論文獎。

此外，NVIDIA 的快速異常分類器在資源和時間受限的情況下，也能夠提高動態(tài)機器人系統(tǒng)的可信度，如四旋翼飛行器和自動駕駛車輛，其性能優(yōu)于運用最先進 GPT 模型的自回歸推理。這些技術(shù)亮點展示了 NVIDIA 在實時異常檢測領(lǐng)域的最新進展，也為自動駕駛車輛的實際應(yīng)用提供了強有力的技術(shù)支持。

NVIDIA 提供的物理和具身智能平臺能夠支持 LLM 在實際應(yīng)用中的部署。例如NVIDIA DRIVE用于自動駕駛汽車，NVIDIA Isaac用于 AI 機器人。而NVIDIA Omniverse平臺是構(gòu)建仿真流程以開發(fā)和測試 AI 驅(qū)動的自動駕駛和機器人的關(guān)鍵工具，利用 Omniverse 中的生成式 AI 可以生成復(fù)雜的、罕見的駕駛場景。通過這樣的綜合策略，可以將 LLM 整合到嚴(yán)格的安全規(guī)范中，例如安全監(jiān)管、冗余設(shè)計和仿真測試。

相關(guān)資料

利用大語言模型進行實時異常檢測和反應(yīng)式規(guī)劃

本文提出了一個實時檢測和決策框架，該框架利用大語言模型（LLM）的零樣本泛化功能，在面對具有挑戰(zhàn)性的異常或極端情況時，促進對自主系統(tǒng)的安全和實時控制。這是通過推理層次結(jié)構(gòu)實現(xiàn)的：一個快速異常檢測器，用于查詢機器人在 LLM 嵌入空間中先前經(jīng)驗的相似性，以及一個慢速生成推理器，用于評估檢測到的異常安全影響并選擇適當(dāng)?shù)木徑獠呗浴＿@些推理器與一種新的模型預(yù)測控制策略相配合，保持了多種安全行動規(guī)劃的可行性。