構建一個能在復雜物理世界中導航的自動駕駛系統(tǒng)極具挑戰(zhàn)性。系統(tǒng)必須感知周圍環(huán)境并做出快速且明智的決策。乘客體驗也很重要，需要考慮加速、曲率、平滑度、路面附著力、碰撞時間等因素。

本文將介紹 Hydra-MDP，這個創(chuàng)新的框架將推動端到端自動駕駛領域的發(fā)展。Hydra-MDP 采用新穎的多教師、學生-教師知識提煉架構，整合了來自人類和基于規(guī)則的規(guī)劃器的知識。這使模型能夠學習不同的軌跡，從而提高在不同駕駛環(huán)境和條件下的通用性。

圖 1 端到端規(guī)劃范式比較

Hydra-MDP 所提供的通用框架展示了如何通過基于規(guī)則的規(guī)劃器來增強基于機器學習的規(guī)劃。這一整合確保模型不僅能模仿人類駕駛行為，還能遵守交通規(guī)則和安全標準，打破了傳統(tǒng)模仿學習的局限性。

Hydra-MDP 以數(shù)據(jù)驅動的擴展法則展現(xiàn)了其魯棒性和適應性。通過使用具有大量數(shù)據(jù)和 GPU 小時數(shù)的預訓練基礎模型，Hydra-MDP 展示了其可擴展性以及持續(xù)改進的潛力。

NVIDIA 的 Hydra-MDP 模型在 CVPR 2024 大規(guī)模端到端駕駛挑戰(zhàn)賽中獲得了第一名和創(chuàng)新獎，并且在 nuPlan 基準測試中的表現(xiàn)優(yōu)于當前最先進的規(guī)劃器。它為基于 ML 的規(guī)劃系統(tǒng)在自動駕駛中的應用開辟了一條前景廣闊的道路。

端到端自動駕駛是一套系統(tǒng)接收來自攝像頭、雷達和激光雷達的原始傳感器數(shù)據(jù)并直接輸出車輛控制的完整方法。

相關論文

Hydra-MDP：多目標 Hydra-Distillation 端到端多模式規(guī)劃

Hydra-MDP 采用新穎的多教師、學生-教師知識提煉架構，整合了來自人類和基于規(guī)則的規(guī)劃器的知識。

借助基于規(guī)則的教師知識，Hydra-MDP 可以學習環(huán)境如何以端到端的方式影響規(guī)劃，而不是求助于無差別的后處理，使其在不同駕駛環(huán)境和條件下的通用性有了顯著提高。

通過多目標 Hydra-Distillation

加強多模態(tài)規(guī)劃

在開發(fā) Hydra-MDP 的過程中，NVIDIA 學到了一些關鍵的經驗，這些經驗決定了 Hydra-MDP 的架構及其成功。Hydra-MDP 將人類和基于規(guī)則的知識提煉相結合，創(chuàng)建出一個強大的多功能自動駕駛模型。

以下是 NVIDIA 學習到的關鍵經驗：

認識到多模態(tài)和多目標規(guī)劃的復雜性

利用多目標 Hydra-Distillation 的強大功能

克服后處理的局限性

了解環(huán)境背景的重要性

通過模擬反復完善

使用有效的模型組合

認識到多模態(tài)和多目標規(guī)劃的復雜性

認識到多模態(tài)和多目標規(guī)劃的必要性是一門“基礎課”。

傳統(tǒng)的端到端自動駕駛系統(tǒng)通常只側重于單個模態(tài)和目標，這限制了其在現(xiàn)實世界中的有效性。Hydra-MDP 整合了根據(jù)安全、效率、舒適度等多個指標定制的不同軌跡，確保模型不只是模仿人類駕駛員，而是能夠適應復雜的駕駛環(huán)境。

圖 2 Hydra-MDP 架構

利用多目標 Hydra-Distillation 的強大功能

多目標 Hydra-Distillation 是一個教師-學生多模態(tài)框架，它是 NVIDIA 方法中的關鍵策略。通過采用多個專業(yè)教師（既有人類教師，也有基于規(guī)則的教師），模型能夠學會預測與各種模擬指標相一致的軌跡。該技術提高了模型在不同駕駛條件下的通用性。

NVIDIA 了解到加入基于規(guī)則的規(guī)劃器提供了一個結構化框架，而加入人類教師則帶來了適應性和細致的決策能力，這對于適應不可預測的場景至關重要。

克服后處理的局限性

另一個洞察是依賴后處理進行軌跡選擇存在固有的局限性。

傳統(tǒng)方法通常會將感知和規(guī)劃分離成不同且不可微分的步驟，從而丟失有價值的信息。Hydra-MDP 的端到端架構將感知和規(guī)劃整合成一個無縫銜接的工作流，并在整個決策過程中保持了環(huán)境數(shù)據(jù)的豐富性。通過這種整合，使預測變得更加明智且準確。

了解環(huán)境背景的重要性

加入詳細的環(huán)境背景對于規(guī)劃的準確性來說至關重要。

Hydra-MDP 的感知網絡以 Transfuser 基線為基礎構建而成，它將激光雷達和攝像機輸入所具有的特征加以組合。這種多模態(tài)融合有助于模型更好地理解和應對復雜的駕駛環(huán)境。

Transformer 層將這些模態(tài)連接起來，保證了對環(huán)境背景的全面編碼，并提供豐富、可操作的洞察。

通過模擬反復完善

事實證明，離線模擬促進的反復完善過程非常有價值。

在整個訓練數(shù)據(jù)集上運行模擬生成了各項指標的基準真實模擬分數(shù)。這些數(shù)據(jù)隨后被用于監(jiān)督訓練過程，使模型能夠從各種模擬駕駛場景中學習。

該步驟凸顯了大量模擬在填補理論性能與實際應用之間差距的重要性。

表 1 Hydra-MDP 的準確性與輸入圖像分辨率、預訓練和骨干架構的函數(shù)關系。獲勝方案 Hydra-MDP-C 通過將這些因素結合在一起提高了性能。

使用有效的模型集合

有效的模型集合是取得成功的關鍵。

NVIDIA 使用了混合編碼器和子分數(shù)集合等技術來結合模型的優(yōu)勢。這提高了 Hydra-MDP 的魯棒性，保證了最終模型能夠以高精度處理各種駕駛場景。

集合技術兼顧了計算效率和性能，對于實時應用至關重要。

結論

Hydra-MDP 的開發(fā)是一個創(chuàng)新、實驗和不斷學習的過程。通過采用多模態(tài)和多目標規(guī)劃、利用多目標 Hydra-Distillation，以及通過大量模擬加以完善， NVIDIA 創(chuàng)建了一個明顯優(yōu)于當前最先進方法的模型。這些經驗造就了 Hydra-MDP 的成功，并為未來自動駕駛技術的進步提供了寶貴的啟發(fā)。

更多信息，參見 Hydra-MDP：借助多目標 Hydra-Distillation 實現(xiàn)端到端多模態(tài)規(guī)劃。相關工作參見自動駕駛汽車應用研究。