馬里蘭大學計算機科學家Dinesh Manocha與百度研究和香港大學的一組同事合作，開發了一種如照片般真實的仿真模型，用于培訓和驗證自動駕駛車輛。與當前的游戲引擎或高保真計算機圖形和數學渲染流量模式系統相比，新系統提供了更豐富，更真實的模擬。

Fig. View synthesis results and effectiveness of depth refinement

他們的系統被稱為增強自動駕駛仿真(AADS，Augmented Autonomous Driving Simulation)，可以使自動駕駛技術在實驗室更容易評估，也可以提高路測的安全性。

科學家們在2019年3月27日發表在《科學機器人》(Science Robotics)雜志上的一篇研究論文中描述了他們的研究方法。

“這項工作代表了一種新的仿真范例，我們可以在將它部署到真實汽車上并在高速公路或城市道路上進行測試之前測試自動駕駛技術的可靠性和安全性，”該論文的相應作者之一Manocha表示（Manocha同時任職于計算機科學，電氣和計算機工程以及馬里蘭大學高級計算機研究所）。

自動駕駛汽車的一個潛在好處是，它可能比人類駕駛員更安全，因為人類駕駛員容易分心、疲勞和情緒化，做出會導致錯誤的決定。但是為了確保安全，自動駕駛汽車必須對駕駛環境進行評估和反應。考慮到汽車在道路上可能遇到各種各樣的情況，自動駕駛系統需要在極具挑戰的條件下進行數億英里的試駕，以證明其可靠性。

雖然這可能需要幾十年的時間才能在道路上完成，但通過計算機仿真可以快速、高效、更安全地進行初步評估。計算機仿真可以準確地表示真實世界，并對周圍物體的行為進行建模。目前的仿真系統在還原真實的光環境和呈現真實的交通流模式或駕駛員行為這三方面仍存在不足。

AADS是一個數據驅動系統，它能更準確地表示自動駕駛汽車在路上接收到的信號。自動駕駛汽車依賴于感知模塊和導航模塊，感知模塊接收和解釋現實世界的信息，導航模塊根據感知模塊做出決定，比如轉向哪里、是否剎車或加速。

Fig. The inputs, processing pipeline, and outputs of our AADS system.

在現實世界中，自動駕駛汽車的感知模塊通常接收來自攝像頭和激光雷達傳感器的信號，這些傳感器使用光脈沖來測量周圍的距離。在目前的模擬器技術中，感知模塊接收來自計算機生成的圖像和行人、自行車和其他汽車的數學建模的運動模式的借號，只是對現實世界的一種相對粗糙的表達。因為計算機生成的圖像模型必須是手工生成的，所以創建圖像模型也是一個耗時耗財的事情。

AADS系統結合了照片、視頻和激光雷達點云(類似于3D形狀渲染)與行人、自行車和其他汽車的真實軌跡數據。這些數據可以用來預測其他車輛或行人在路上的駕駛行為和未來的位置，以計算出更安全的導航路徑。

Fig. TrafficPredict evaluations

“我們用視頻和照片來模擬真實世界，”Manocha說，“但我們也在捕捉真實的行為和運動模式。人類開車的方式不容易被數學模型和物理定律捕捉到。所以，我們從所有可用的視頻中提取了真實軌跡的數據，并使用社會科學方法對駕駛行為建模。這種數據驅動的方法為我們提供了一個更加現實和有益的交通仿真模型”。

在使用真實的視頻圖像和激光雷達數據進行建模時，科學家們面臨著一個長期的挑戰:每一個場景都必須對自動駕駛汽車的運動做出反應，即使這些運動可能沒有被最初的攝像頭或激光雷達傳感器捕捉到。無論照片或視頻以什么樣的角度或視角被捕捉到，都必須使用預測方法進行渲染或模擬。這就是為什么仿真技術總是如此嚴重地依賴于計算機生成的圖形，也嚴重依賴于基于物理的預測技術。

為了克服這一挑戰，研究人員開發了一種技術，可以將真實街道場景的各個部分分離出來，并將它們呈現為單獨的元素，這些元素可以被重新合成，以創建大量真實的照片駕駛場景。

Fig. Novel view synthesis pipeline

通過AADS，車輛和行人可以從一個環境中平移到另一個環境中。可以根據不同的交通等級重建道路。每個場景的多個視角在車道變換和轉彎期間提供更真實的圖像。此外，與其他視頻模擬技術相比，先進的圖像處理技術可實現平滑過渡并減少失真。圖像處理技術還用于提取軌跡，從而模擬駕駛員行為。

“因為我們使用的是真實世界的視頻和真實世界的動作，我們的感知模塊比以往的方法擁有更準確的信息，”Manocha說。“然后，由于仿真模型的真實感，我們可以更好地評估自主駕駛系統的導航策略”。

Fig. Comparison of traffic synthesis

Manocha說，通過發表這項工作，科學家們希望一些開發自動駕駛汽車的公司可以采用同樣的數據驅動方法來改進他們自己的仿真模型，用于測試和評估自動駕駛系統。

參考文獻：

[1]W. Li, C. W. Pan, R. Zhang, J. P. Ren, Y. X. Ma, J. Fang, F. L. Yan, Q. C. Geng, X. Y. Huang, H. J. Gong, W. W. Xu, G. P. Wang, D. Manocha, R. G. Yang. AADS: Augmented autonomous driving simulation using data-driven algorithms. Science Robotics, 2019.