面對復雜多變的交通場景，基于學習的方法已成為了實現(xiàn)高級別自動駕駛系統(tǒng)的主流方案。然而，基于學習的自動駕駛系統(tǒng)仍面臨以下挑戰(zhàn)：

對復雜的規(guī)則和獎勵函數(shù)設計的需求使其在理解交通法規(guī)等高級信息上存在困難。

受限于數(shù)據(jù)量和采樣效率，處理罕見事件是其面臨的一大挑戰(zhàn)。

由于神經(jīng)網(wǎng)絡的黑盒特性，現(xiàn)有基于學習的自動駕駛系統(tǒng)缺乏良好的可解釋性。

針對以上問題，我們提出將大語言模型（LLM）作為自動駕駛系統(tǒng)的決策核心，利用LLM像人一樣思考的能力，將人類常識和推理能力作為自動駕駛系統(tǒng)決策的指導。同時，我們開發(fā)了將LLM給出的高層決策轉(zhuǎn)化為具體駕駛行為的方法，將高層決策與底層控制器無縫結(jié)合。

在CVer微信公眾號后臺回復：MPC，可以下載本論文pdf，學起來！

LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving 論文：https://arxiv.org/abs/2310.03026 項目網(wǎng)站：https://sites.google.com/view/llm-mpc LanguageMPC：將大語言模型與模型預測控制無縫結(jié)合

LanguageMPC首次將LLM應用于駕駛場景，并設計了將文字形式高層決策轉(zhuǎn)化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)島等復雜交通場景中均優(yōu)于現(xiàn)有基于學習和基于優(yōu)化的自動駕駛系統(tǒng)。同時，我們還展示了LanguageMPC在應對多車協(xié)同控制、文字輔助駕駛等復雜任務時的強大性能。

LanguageMPC的技術(shù)核心在于以下兩點：

專用于駕駛場景的思維鏈框架。我們使用Langchain管理LLM，通過設計初始prompt和多種工具，指導LLM依次完成對周車的意圖判斷和注意力分配、判斷自車所處情景、給出駕駛動作指引等任務。我們將整個駕駛?cè)蝿談澐譃槎鄠€子任務，并重新設計了場景信息組織方式，通過確保信息的簡潔性來提升LLM的推理能力。

高層決策與模型預測控制銜接。我們設計了將文字形式的高層決策轉(zhuǎn)化為可操作的駕駛行為的方法。具體而言，我們根據(jù)LLM的選擇來重計算觀測矩陣，調(diào)整MPC的注意力分配；調(diào)整懲罰函數(shù)的參數(shù)矩陣，使用LLM給出的情景判斷指導MPC；將LLM的駕駛運動指引轉(zhuǎn)化為運動偏置，直接調(diào)整MPC的駕駛行為。

實驗結(jié)果

定量實驗

我們的方法在幾乎所有指標上都有明顯提升，并且顯著降低了碰撞幾率和總體Cost。

路口無保護左轉(zhuǎn)

在路口左轉(zhuǎn)時，LanguageMPC能根據(jù)交通規(guī)則讓行對向直行車輛。

路口直行和變道超車

路口直行時，LanguageMPC能遵守路口內(nèi)不超車的規(guī)則，并在到達車道內(nèi)后迅速超車。

多車聯(lián)合控制：窄路會車

LanguageMPC通過信息匯總和分別控制，實現(xiàn)了高效的多車聯(lián)合控制，完成窄路會車。

調(diào)控駕駛風格

LanguageMPC能根據(jù)文字指引，簡單直接的調(diào)控駕駛風格。

文字指導駕駛

LanguageMPC在文字指引下避開了維修路段。

LanguageMPC在關(guān)鍵指標上大大優(yōu)于現(xiàn)有方法，并能處理復雜的真實世界駕駛場景，可在各種駕駛場景中實現(xiàn)與人類類似的性能，其推理能力和可解釋性有助于克服當前基于學習的駕駛輔助系統(tǒng)在適應性和透明度方面的局限性。