自動(dòng)駕駛里面很重要的就是估計(jì)和預(yù)測(cè)交通情況。預(yù)測(cè)的來(lái)源就是路上各種物體的姿態(tài)和速度歷史，高級(jí)的預(yù)測(cè)會(huì)包括可能的行動(dòng)軌跡。

對(duì)于車(chē)輛本身來(lái)說(shuō)，其駕駛動(dòng)作分析離不開(kāi)動(dòng)力學(xué)理論（kinematic，dynamic），周?chē)恼系K物，同時(shí)還有道路行駛的路況（坡度，曲率）和規(guī)則（紅綠燈，限速牌，車(chē)道線，交叉路口等等）。所有這些因素組合一起就能體現(xiàn)交通參與者的行為模式，而學(xué)習(xí)這些行為模型就是自動(dòng)駕駛掌握老司機(jī)技術(shù)的必然之路。

一共兩件事，一是對(duì)其他車(chē)輛的駕駛行為預(yù)測(cè)，二是司機(jī)駕駛行為建模以便學(xué)習(xí)模仿這種技術(shù)。在ADAS層次，基于錯(cuò)誤的駕駛操作危險(xiǎn)預(yù)測(cè)，可以對(duì)司機(jī)的不良行為警告，這不是這里的討論范圍。

駕駛行為建模（DBM，driver behavior modeling）目的就是預(yù)測(cè)駕駛動(dòng)作，預(yù)測(cè)駕駛員心思，還有環(huán)境因素，如下圖所示：各種傳感器和車(chē)載控制器CAN數(shù)據(jù)作為輸入，預(yù)處理算法過(guò)濾數(shù)據(jù)，然后給各種應(yīng)用提供預(yù)測(cè)模型。

以換車(chē)道為例吧，建模方法可以分成微觀模型，宏觀模型（交通流）和二者混合模型。微觀模型又可以細(xì)分為基于規(guī)則模型，基于（概率）選擇模型，AI模型和基于激勵(lì)模型，見(jiàn)下圖。

這些微觀模型的各個(gè)方法在決策（decision），理由（reason），目標(biāo)車(chē)道選擇（target lane selection），可接受間距（gap），駕駛習(xí)慣（drivers variability）比如激進(jìn)或者溫和 （aggressive or mild）等方面有各自的特色，如下面表格的總結(jié)。

規(guī)則法主要是基于Gipps模型建立包含一系列固定條件的決策樹(shù)，輸出是二值選擇；也有基于其他的，比如游戲理論的方法；

選擇法主要是采用概率模型，最大似然估計(jì)給出操作；

AI法需要車(chē)輛的行駛數(shù)據(jù)來(lái)訓(xùn)練NN模型；

激勵(lì)法會(huì)考慮車(chē)道的吸引度和風(fēng)險(xiǎn)安全標(biāo)準(zhǔn)，也可以加入禮貌之類(lèi)的個(gè)性化因素。

各自的優(yōu)缺點(diǎn)對(duì)比：

規(guī)則法建模簡(jiǎn)單，決策的變量少；難處是參數(shù)調(diào)節(jié)，判決只能二值；

選擇法決定來(lái)自于其概率計(jì)算，獲取最大的益處；問(wèn)題是概率如何計(jì)算選擇的益處；

AI法是根據(jù)司機(jī)駕駛的數(shù)據(jù)，優(yōu)化模型參數(shù)；但數(shù)據(jù)量要求大，函數(shù)復(fù)雜度高；

激勵(lì)法參數(shù)少，有駕駛風(fēng)格選項(xiàng)可以考慮；但是交通擁擠的時(shí)候動(dòng)機(jī)不清楚。

研究DBM，必然涉及道路網(wǎng)絡(luò)建模（RNM，road network modeling），即道路的拓?fù)浣Y(jié)構(gòu)。基本上，道路信息包括多個(gè)分級(jí)結(jié)構(gòu)，如regional road network–road–road segment–carriageway–lane。

車(chē)道（Lane）是最基本的道路單位，而行車(chē)道（carriageway）是同一方向和類(lèi)似交通性質(zhì)的車(chē)道合并而成，如圖所示。

而這個(gè)是十字路口的行車(chē)道網(wǎng)絡(luò)結(jié)構(gòu)。

建立一個(gè)道路網(wǎng)絡(luò)和拓?fù)浣Y(jié)構(gòu)可以像下圖一樣。

除了道路網(wǎng)絡(luò)，DBM也需要考慮車(chē)輛模型，下圖是一個(gè)車(chē)輛種類(lèi)劃分的分級(jí)模型。

下面選幾篇論文分析一下做駕駛行為建模及其預(yù)測(cè)的研究工作。

這一篇文章是講述如何針對(duì)不同場(chǎng)景預(yù)測(cè)駕駛行為：“A Scenario-Adaptive Driving Behavior Prediction Approach to Urban Autonomous Driving“。

因?yàn)槌鞘薪煌▓?chǎng)景經(jīng)常變化，需要在駕駛行為預(yù)測(cè)時(shí)候考慮對(duì)場(chǎng)景的自適應(yīng)性。首先需要設(shè)計(jì)一個(gè)場(chǎng)景模型庫(kù)，稱(chēng)為ontology，如下圖：包括兩個(gè)分支，一是Entity，二是Attribute；Entity包括4個(gè)部分：

MapEntity。它包括兩個(gè)部分，即AreaEntity和PointEntity。前者表示道路的一個(gè)區(qū)域，包括RoadPart，SideWalk，Junction，Segment和Lane。后者表示道路剩下的部分，包括TrafficSign，LaneMarker，StopLine。

ObstacleEntity。包括靜態(tài)和運(yùn)動(dòng)的。

EgoEntity。自身車(chē)的部分，VehicleType，EquippedSensors等等。

Environment。包括Weather，LightingConditions和RoadSurfaceConditions。

Attributes 描述位置，區(qū)域范圍和限制類(lèi)型。包括Position，Perimeter和ConnectedRestriction。下圖是一個(gè)道路基于此ontology的分解：

回頭看，該駕駛行為預(yù)測(cè)方法的系統(tǒng)框架如圖描述：存在兩個(gè)工作模式，在線和離線。

在離線模式，從數(shù)字地圖中提取道路信息，并根據(jù)上面的ontology模型進(jìn)行描述；先從典型的交通場(chǎng)景里提取數(shù)據(jù)用于學(xué)習(xí)駕駛行為的連續(xù)特征；每個(gè)駕駛模型通過(guò)一個(gè)HMM學(xué)習(xí)；基于先驗(yàn)知識(shí)（交通規(guī)則，駕駛經(jīng)驗(yàn)）定義候選行為模型，輸入特征，以及每個(gè)模型的先驗(yàn)知識(shí)概率，構(gòu)成語(yǔ)義規(guī)則；所有這些規(guī)則存于知識(shí)庫(kù)。

在線模式下，將知識(shí)庫(kù)的所有學(xué)習(xí)的模型和語(yǔ)義規(guī)則在初始化裝入內(nèi)存，然后每個(gè)候選行為模型會(huì)計(jì)算其似然值，結(jié)合先驗(yàn)概率得到行為標(biāo)簽（tag）。

最后駕駛行為的預(yù)測(cè)方法如圖：對(duì)應(yīng)行為集合的一組HMM已經(jīng)離線學(xué)習(xí)完成，現(xiàn)在輸入實(shí)時(shí)的感知器數(shù)據(jù)，那么對(duì)于每個(gè)車(chē)輛，基于規(guī)則的推理模塊會(huì)計(jì)算產(chǎn)生其候選模型，而HMM中的Forward算法就能估計(jì)每個(gè)所選模型的擬合程度，即最大后驗(yàn)估計(jì)。

這里給出一個(gè)實(shí)驗(yàn)例子：

其中 (a) 是場(chǎng)景推理結(jié)果， (b) 不同行為似然值，(c) 駕駛行為預(yù)測(cè)界面。

北卡的駕駛行為預(yù)測(cè)的工作，兩篇論文：

第一篇是規(guī)劃算法AutonoVi，以支持滿(mǎn)足交通約束的無(wú)人駕駛動(dòng)態(tài)機(jī)動(dòng)（dynamic maneuvers）：“AutonoVi: Autonomous Vehicle Planning with Dynamic Maneuvers and Traffic Constraints”。

其中機(jī)動(dòng)包括拐彎，換道和剎車(chē)等動(dòng)作，要求遵守各種交通規(guī)則（路口紅燈/stop牌停車(chē)）和避撞（行人，車(chē)輛，自行車(chē)）。下圖是算法流水線圖：

路徑規(guī)劃在前，按車(chē)道駕駛和交通生成一個(gè)引導(dǎo)軌跡，以及一串候選控制輸入（PID控制器）。這些控制會(huì)以數(shù)據(jù)驅(qū)動(dòng)的車(chē)輛動(dòng)力建模和控制障礙物理論（Control Obstacle）的無(wú)碰撞導(dǎo)航為標(biāo)準(zhǔn)評(píng)估，最后剩下的軌跡再通過(guò)優(yōu)化算法（Path，Comfort，Maneuver，Proximity等為開(kāi)銷(xiāo)）決定最佳控制信號(hào)。

車(chē)輛的行為描述為有限狀態(tài)機(jī)（FSM），如下圖：

軌跡規(guī)劃要計(jì)算一組沿著車(chē)道中心等時(shí)間間隔的waypoints。如圖給出一個(gè)計(jì)算引導(dǎo)路徑的例子：(a)偏離中心被平滑引回；(b) 突然改變前進(jìn)方向；(c)換道，離開(kāi)和目標(biāo)車(chē)道的waypoints加權(quán)平均。

第二篇討論如何從車(chē)輛軌跡分析駕駛行為并用于自動(dòng)駕駛："Identifying Driver Behaviors using Trajectory Features for Vehicle Navigation"。

算法的框架如圖：

其中定義一個(gè)模塊叫Trajectory to Driver Behavior Mapping (TDBM)，有6種駕駛員行為定義和分析，主要衍生于兩種基本模式Aggressiveness 和Carefulness，定義如下。

其中0-5是駕駛行為測(cè)度，6-9是注意（attention）測(cè)度。

很重要的一點(diǎn)是，作者定義了一組軌跡的特征，以此形成軌跡到行為的映射，10個(gè)候選特征見(jiàn)下表，其中綠色部分就是用來(lái)計(jì)算行為測(cè)度的，藍(lán)色是用來(lái)一起計(jì)算行為測(cè)度和注意測(cè)度。

選擇特征的方法是基于LASSO分析，映射關(guān)系最終是矩陣形式。應(yīng)用在自動(dòng)駕駛時(shí)，選擇了前面提到的AutonoVi規(guī)劃算法。

Uber Toronto最近的駕駛預(yù)測(cè)工作，有兩篇論文

"Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net"

"IntentNet: Learning to Predict Intention from Raw Sensor Data"

第一篇論文介紹一種將目標(biāo)檢測(cè)工作和預(yù)測(cè)合為一體的系統(tǒng)FAF，如圖所示：

這里數(shù)據(jù)是激光雷達(dá)的點(diǎn)云，利用它的鳥(niǎo)瞰投影作為模型輸入。其實(shí)預(yù)測(cè)部分才是我們感興趣的，當(dāng)然三合一的NN模型是新穎的方式。模型輸入多幀數(shù)據(jù)構(gòu)成4-D張量，利用3-D卷積做預(yù)測(cè)。下圖是運(yùn)動(dòng)預(yù)測(cè)的示意圖（t, t+1, ...,t+n-1):

第二篇論文在此基礎(chǔ)上，定義意向（intent）是一個(gè)高級(jí)行為和連續(xù)的軌跡的組合，提出了一個(gè)預(yù)測(cè)意向的模型IntentNet。看看模型的輸入，輸出和模型結(jié)構(gòu)的介紹：

輸入如上圖，左邊是點(diǎn)云鳥(niǎo)瞰投影，右邊是靜態(tài)地圖部分，包括道路，車(chē)道，十字路口，交通牌和紅綠燈等。

下圖是輸出部分：綠色是groundtruth，粉色是預(yù)測(cè)的結(jié)果，箭頭表示意向分?jǐn)?shù)，針對(duì)定義的8種行為類(lèi)型而言，即保持車(chē)道，左轉(zhuǎn)，右轉(zhuǎn)，換左道，換右道，停止，泊車(chē)和其他。

下圖是模型結(jié)構(gòu)：一種后融合方法。

其中一些模型細(xì)節(jié)：

關(guān)于學(xué)習(xí)駕駛行為的工作，先介紹一篇相對(duì)舊的文章，是普林斯頓大學(xué)X教授研究組的：“DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving“。

這個(gè)圖對(duì)E2E學(xué)習(xí)“老”司機(jī)駕駛的方法進(jìn)行劃分：mediated perception，分析觀測(cè)場(chǎng)景得到駕駛決策；behavior reflex 直接映射傳感器數(shù)據(jù)（圖像為例）到駕駛動(dòng)作，有些類(lèi)似特斯拉提出的Autopilot software 2.0；第三種方法，direct perception，作者定義affordance，標(biāo)記一些如車(chē)輛相對(duì)道路的角度，到車(chē)道線的距離，和相鄰車(chē)輛的距離等，這些信息由感知得到，然后映射到駕駛動(dòng)作。

沿著Affordance這個(gè)思路，看看最近蘇黎世ETH的駕駛行為學(xué)習(xí)工作：“Conditional Affordance Learning for Driving in Urban Environments“。

為了和模擬學(xué)習(xí)或條件性模擬學(xué)習(xí)區(qū)別開(kāi)，作者稱(chēng)自己的方法為Conditional Affordance Learning (CAL) 。上圖所示，輸入的除了傳感器的數(shù)據(jù)（視頻為例），還有一些高級(jí)方向性的信號(hào)，即“直行“，”左行“和”右行“之類(lèi)的行為類(lèi)別。

下圖給出系統(tǒng)的框圖：模型訓(xùn)練出來(lái)一組駕駛行為Affordance，送入車(chē)輛控制器。

定義的Affordance見(jiàn)左下表：分類(lèi)取決于種類(lèi)（連續(xù)/離散）和條件性（紅綠燈，限速）。

文中定義了6個(gè)危險(xiǎn)事件：駕駛車(chē)道錯(cuò)誤，車(chē)上行人道，闖紅燈，車(chē)相撞，撞行人，和撞靜態(tài)物體。訓(xùn)練在開(kāi)源仿真模擬軟件Carla進(jìn)行，測(cè)試也是。

加州伯克利分校的這個(gè)工作是通過(guò)模擬學(xué)習(xí)（Imitation Learning）方法得到一個(gè)集成規(guī)劃和控制的框架，結(jié)合了機(jī)器學(xué)習(xí)和優(yōu)化理論的兩層分級(jí)結(jié)構(gòu)：“A Fast Integrated Planning and Control Framework for Autonomous Driving via Imitation Learning“ 。

這個(gè)框架的第一層是policy layer，通過(guò)NN學(xué)習(xí)長(zhǎng)期的最優(yōu)MPC駕駛策略，第二層是execution layer，主要跟蹤上一層policy layer生成的參考軌跡（reference trajectory），是一個(gè)保證短期安全和可行性的基于優(yōu)化的短期控制器。特別提出的一點(diǎn)，第一層采用在線模擬學(xué)習(xí)，其中借用了dataset aggregation（DAgger）的方法，可以快速連續(xù)地改進(jìn)policy layer。

下圖是整個(gè)分級(jí)二層結(jié)構(gòu)：包括感知，決策，規(guī)劃控制等模塊。它不是一個(gè)E2E的模擬學(xué)習(xí)方法，其實(shí)包括感知在內(nèi)的E2E機(jī)器學(xué)習(xí)框架是比較risky的，以前也提過(guò)這種corner case太多。

下圖是定義的Sampled DAgger，用在policy layer的模擬學(xué)習(xí)：

跟以前的DAgger相比，Sampled DAgger的數(shù)據(jù)效率更高。

另外，論文里做了對(duì)學(xué)習(xí)的policy泛化處理，可以用在復(fù)雜的駕駛場(chǎng)景，下圖是一個(gè)多車(chē)道的駕駛場(chǎng)景：

泛化就是將一個(gè)連續(xù)駕駛的問(wèn)題降為一系列的抽象場(chǎng)景，而每個(gè)抽象場(chǎng)景能直接應(yīng)用學(xué)習(xí)的policy模型來(lái)求解。

谷歌WayMo的最新文章介紹通過(guò)駕駛數(shù)據(jù)模擬學(xué)習(xí)駕駛策略：“ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst“。

該文反對(duì)純粹地模擬所有數(shù)據(jù)，而是在模擬損失上附加一些損失（比如碰撞，離開(kāi)路和幾何上軌跡的不光滑等）來(lái)懲罰不期望出現(xiàn)的事件和鼓勵(lì)進(jìn)步，這些擾動(dòng)增強(qiáng)了模型的魯棒性。實(shí)驗(yàn)中表明ChauffeurNet模型可以處理復(fù)雜的情況。

以下圖是模型的輸入-輸出：地圖，交通燈，限速，路徑，自身位置和姿態(tài)，其他車(chē)輛/行人/自行車(chē)的位置和姿態(tài)和自身姿態(tài)的過(guò)去軌跡，作為輸入，而輸出是自身的下一個(gè)姿態(tài)。

駕駛模型包括幾個(gè)部分，如下圖：FeatureNet，AgentRNN，Road Mask Net，PerceptionRNN。

更詳細(xì)的描述可以見(jiàn)下圖：那些輸入先進(jìn)入FeatureNet輸出Feature，然后再進(jìn)入AgentRNN來(lái)預(yù)測(cè)駕駛軌跡的下一個(gè)位置，車(chē)身的heatMap，迭代次數(shù)，以前預(yù)測(cè)的Memory（單通道圖像，是一個(gè)疊加型內(nèi)存，每次迭代會(huì)在預(yù)測(cè)位置加一），和上次迭代預(yù)測(cè)的車(chē)身heatMap。

整個(gè)軟件系統(tǒng)框圖如下：

實(shí)驗(yàn)中特意提到有一個(gè)路旁停車(chē)被成功地繞開(kāi)的例子。

總的看，駕駛行為的學(xué)習(xí)以及對(duì)其他車(chē)輛駕駛的預(yù)測(cè)都是目前比較關(guān)鍵的問(wèn)題，如果感知的一些不足，可以說(shuō)是一些失誤，能不能被行為模型看成噪聲或者干擾而成功忽略和“屏蔽”，那么就是自動(dòng)駕駛模塊化的研發(fā)過(guò)程中成功的進(jìn)步。但目前的實(shí)驗(yàn)，還不能證明這一點(diǎn)，主要是數(shù)據(jù)不夠，而且駕駛模型中ontology也不完備。

另外大家也認(rèn)為感知和規(guī)劃應(yīng)該被看成一個(gè)整體，所以研發(fā)的次序應(yīng)該是在感知和規(guī)劃+控制的交替中前進(jìn)，感知的進(jìn)步會(huì)驅(qū)使駛決策模型的更新。