今天分享的內(nèi)容，分為傳感器、定位技術(shù)、感知技術(shù)、商業(yè)化案例四個(gè)部分。

一

傳感器

這是整個(gè)無(wú)人駕駛系統(tǒng)的構(gòu)成圖，底層是車(chē)輛，包括車(chē)、線控、驅(qū)動(dòng)、制動(dòng)、轉(zhuǎn)向等；上面是硬件控制部分，計(jì)算平臺(tái)、網(wǎng)絡(luò)、傳感器、線束等；再往上就是系統(tǒng)軟件層，包括操作系統(tǒng)、通信中間件等；再往上左邊這部分是定位、感知、預(yù)測(cè)、決策、規(guī)劃、控制等車(chē)端的模塊；右邊是一些其他的支撐模塊和基礎(chǔ)設(shè)施，包括仿真、安全、高精度地圖、V2X、HMI、Cloud等。安全是獨(dú)立的一部分，它會(huì)橫跨車(chē)端云端的各個(gè)環(huán)節(jié)。

舉例這一款無(wú)人車(chē)，我標(biāo)記了一下，有四顆機(jī)械式Lidar，兩個(gè)Camera。還有毫米波雷達(dá)（包括四個(gè)角雷達(dá)加一個(gè)前向長(zhǎng)距的毫米波雷達(dá)）。

這輛車(chē)沒(méi)有安裝超聲波雷達(dá)，但在其它的車(chē)可能會(huì)用。還有車(chē)內(nèi)部安裝的傳感器，如輪速計(jì)、IMU。所有的傳感器數(shù)據(jù)可用于自車(chē)定位和環(huán)境感知，在規(guī)劃控制中也會(huì)用到輪速計(jì)信息。

在自動(dòng)駕駛里比較糾結(jié)的就是成本和性能的矛盾，我們需要平衡它們。

左上角是Waymo的RoboTaxi，它的傳感器配置是比較昂貴的，激光雷達(dá)是他們自研的，據(jù)他們講成本控制得比較低。但真實(shí)的商業(yè)場(chǎng)景里面會(huì)有多方面的約束，包括成本、算力、功耗等。我們不可能用臺(tái)式機(jī)做計(jì)算，真到正式量產(chǎn)，我們只能使用嵌入式控制器， CPU和GPU的算力顯然會(huì)比臺(tái)式機(jī)有數(shù)量級(jí)或者幾倍的差距。功耗也是需要考慮的一個(gè)因素，車(chē)內(nèi)供電是有限的，控制器耗電，傳感器本身耗電也比較高，比如Lidar裝的多也比較耗電。

還有天氣、光照等其他影響因素，使用場(chǎng)景也會(huì)有很多的變化。當(dāng)然我們做得工作越多，可適用場(chǎng)景也就會(huì)越來(lái)越多。

下面是我們公司的幾種車(chē)輛，可以看到，我們車(chē)上所裝的傳感器大部分成本相對(duì)不高，因?yàn)榭蛻舸蟛糠謱?duì)成本比較敏感。最右邊的車(chē)是，自主代客泊車(chē)，沒(méi)有安裝Lidar。

二

定位技術(shù)

定位技術(shù)包括輪速計(jì)、IMU、GPS RTK（在空曠的地方效果比較好）、Visual SLAM、Lidar SLAM、稀疏語(yǔ)義定位等。此外，還有一個(gè)Home Zone Parking的應(yīng)用，也是采用Visual SLAM定位技術(shù)。

傳統(tǒng)的GPS精度差，通過(guò)RTK基站消除誤差，可以得到一個(gè)相對(duì)穩(wěn)定的高精度定位，可以到兩三厘米的高精度。

基于視覺(jué)特征的視覺(jué)SLAM，特征描述要滿足視角不變性、尺度變化的不變性、旋轉(zhuǎn)變化的不變性等，常用特征我列了幾個(gè)，如SIFT、SURF、FAST，其中FAST是比較快的，前兩者比較慢。

之前的SLAM框架更多使用一些傳統(tǒng)方法提取特征。深度學(xué)習(xí)從2014、2015年逐步熱起來(lái)，通常更多用于目標(biāo)檢測(cè)，在定位方面也有較多應(yīng)用。下面是2016年的一個(gè)論文，使用AlexNet的feature做place recognition。右邊是我們?cè)趫@區(qū)里做的實(shí)驗(yàn)，在不同的場(chǎng)景下，左邊是建圖的image，右邊就是定位的image，可以看出在不同時(shí)刻、季節(jié)變化、極端光線、霧霾天的各種情況下，深度學(xué)習(xí)方法比傳統(tǒng)方法有時(shí)候會(huì)拿到更好的結(jié)果。

我們后來(lái)又做了一些工作，也參考了一些其他研究，使用深度學(xué)習(xí)的方法去提升定位；首先輸入的圖像，通過(guò)Encoder，分出來(lái)兩個(gè)分支去做Decoder，一個(gè)是特征點(diǎn)的，另一個(gè)是描述子的。

我們的實(shí)驗(yàn)結(jié)果看起來(lái)還是挺不錯(cuò)的，它比傳統(tǒng)的ORB方案效果要明顯提升不少，匹配的點(diǎn)數(shù)增加了不少。我們測(cè)了很多的場(chǎng)景，平均下來(lái)定位的可用性有顯著提升。

第二個(gè)，它的跨光照能力比較強(qiáng)，低光照度的情況下優(yōu)勢(shì)比較明顯，跨季節(jié)能力也挺不錯(cuò)。

很多的場(chǎng)景下會(huì)用到魚(yú)眼相機(jī)，傳統(tǒng)的方法就是去畸變，把它作為一個(gè)普通的圖像去處理，但是這種方法我們實(shí)驗(yàn)以后發(fā)現(xiàn)效果并不是那么理想。后來(lái)我們做了一個(gè)工作，用五個(gè)立方體，構(gòu)成一個(gè)Cubemap，再做SLAM，實(shí)驗(yàn)結(jié)果也是挺不錯(cuò)的。這個(gè)工作我們也用到了實(shí)際工程中。

下圖是車(chē)位檢測(cè)，也是很基本的，就是最簡(jiǎn)單的魚(yú)眼俯視圖的拼接，車(chē)位檢測(cè)的目的是為了定位。

我們?cè)谝粋€(gè)地庫(kù)里面做的基于泊車(chē)位的定位，這是包括定位、規(guī)劃、控制在一起的一個(gè)閉環(huán)過(guò)程。

上圖是一個(gè)Home Zone Parking（也叫記憶泊車(chē)），它是一個(gè)VSLAM的應(yīng)用，單目加里程計(jì)、加可選的IMU做SLAM的過(guò)程。這里的視頻中最后提示建圖成功了，定位的時(shí)候，當(dāng)你開(kāi)到上次建圖成功的路線，車(chē)就會(huì)自我定位，之后就進(jìn)入無(wú)人駕駛。這是一個(gè)2C的產(chǎn)品，目前在和車(chē)企合作量產(chǎn)，用戶建一次圖，后面再開(kāi)到該區(qū)域，車(chē)可以自主定位和導(dǎo)航，可以幫助用戶完成自主航渡和泊車(chē)，滿足最后幾百米無(wú)人駕駛的需求。

Lidar SLAM包括以下幾個(gè)子模塊：預(yù)處理、odometry、地圖匹配、閉環(huán)檢測(cè)、全局優(yōu)化、mapping等，實(shí)際使用中通常離線做三維重建和建圖，在線的時(shí)候做重內(nèi)位/定位，這是一個(gè)基本的使用模式。

下圖是基于激光雷達(dá)的場(chǎng)景識(shí)別（即Place Recognition）。無(wú)人駕駛車(chē)輛一旦重定位成功后，后續(xù)在持續(xù)匹配的過(guò)程中不容易丟失定位。而初始重定位要保證幾乎總是成功和正確是比較挑戰(zhàn)的。因?yàn)閳?chǎng)景非常多，而且有很多場(chǎng)景沒(méi)有GPS的，可能在室內(nèi)或者天橋下面，信號(hào)被遮擋等，或者樹(shù)下面可能信號(hào)也很差。

在這些情況下，用視覺(jué)或者用激光雷達(dá)做初始定位就是非常重要的問(wèn)題。這在學(xué)術(shù)界是比較熱的話題，工業(yè)界也會(huì)面對(duì)這樣的問(wèn)題。我們必須要解決它，否則沒(méi)有辦法做到正確的、高可用的高精度定位。

我稍微再介紹一些比較挑戰(zhàn)的場(chǎng)景，不管對(duì)視覺(jué)還是Lidar來(lái)說(shuō)，可能都會(huì)有挑戰(zhàn)。對(duì)于隧道場(chǎng)景來(lái)說(shuō)，Lidar會(huì)更挑戰(zhàn)一點(diǎn)，因?yàn)樵谒淼览铮梢杂玫奶卣骱苌佟Ｉ厦孢@個(gè)隧道可能有一公里，我們嘗試做建圖定位的時(shí)候，各方面建圖的效果都不太好。后來(lái)我們做了一些優(yōu)化，融合了IMU還有里程計(jì)以后，整個(gè)建圖、三維重建，包括后面的建圖定位都還不錯(cuò)。

三

感知技術(shù)

這是障礙物感知的一個(gè)簡(jiǎn)單框架圖，這只是一部分，像紅綠燈檢測(cè)也算是感知，我就沒(méi)有畫(huà)在這里面了。

我重點(diǎn)講障礙物和目標(biāo)物的感知，輸入主要是image、Lidar的點(diǎn)云、毫米波雷達(dá)、超聲波雷達(dá)等的數(shù)據(jù)。輸入層我們可能會(huì)做一些Lidar、Camera的早期融合，也叫前融合。下面我們會(huì)有兩種算法模塊，一個(gè)是傳統(tǒng)算法，得到障礙物的信息，另一種就是基于深度學(xué)習(xí)的方法，得到目標(biāo)物的信息。

整個(gè)模塊的輸出，一個(gè)是OGM占據(jù)柵格地圖，另一個(gè)是運(yùn)動(dòng)目標(biāo)列表。整個(gè)框架大致就是這樣。實(shí)際上可能每個(gè)公司/研究機(jī)構(gòu)的框架會(huì)有一些差異，一些不同的方法都值得探索。

上圖是基于視覺(jué)的可行駛區(qū)域識(shí)別，這是最基本的語(yǔ)義分割，需要識(shí)別出地面和停車(chē)位，其他的就是不可通行部分。

該圖是高速路上的語(yǔ)義分割加目標(biāo)檢測(cè)的一個(gè)基本工作。

下面說(shuō)一下點(diǎn)云和圖像的對(duì)比。圖像比較規(guī)則，而點(diǎn)云維度較高，也比較稀疏。點(diǎn)云在空間中不是一個(gè)矩陣式的排列，而是一個(gè)稀疏的、無(wú)序的點(diǎn)的集合，所以點(diǎn)云的處理相比于圖像還是有特殊的挑戰(zhàn)。

上圖是Lidar做的可行駛區(qū)域的分割，左邊是原始點(diǎn)云的示意圖，綠色的是地面，紅色的表示障礙物點(diǎn)；右上是一個(gè)2D的柵格圖，右下是在2D基礎(chǔ)上加一個(gè)高度形成2.5D。

激光雷達(dá)的目標(biāo)檢測(cè)的算法，分成非深度學(xué)習(xí)的傳統(tǒng)算法，和深度學(xué)習(xí)算法。深度學(xué)習(xí)算法又分為Multi-View、Range Image、Point-base和Voxel-based等。

VoxelNet也是比較經(jīng)典的網(wǎng)絡(luò)，先做劃分、Grouping、隨機(jī)采樣，最后構(gòu)造Feature等。后續(xù)有一些不錯(cuò)的研究工作，比較有代表性的有SECOND、PointPillar、PV RCNN，這里不展開(kāi)講。

這是馭勢(shì)研發(fā)的一個(gè)最新的點(diǎn)云網(wǎng)絡(luò)方面的工作，基于注意力邊界的3D目標(biāo)檢測(cè)模型。基本思想是由于點(diǎn)云看到的目標(biāo)物邊界比較稠密，在Voxel的基礎(chǔ)上在邊界處增加注意力機(jī)制進(jìn)行增強(qiáng)；在主分支做完后做refine，并結(jié)合了其他的改進(jìn)，總體得到了一個(gè)很不錯(cuò)的效果。在今年9月份，這個(gè)工作在KITTI 3D Object Detection上排名第一。

四

商業(yè)化案例

下面簡(jiǎn)單介紹一下馭勢(shì)的商業(yè)化案例。我們現(xiàn)在商業(yè)化落地的重點(diǎn)在無(wú)人物流。我們和五菱、一汽等主機(jī)廠物流有長(zhǎng)期合作，此外也包括一些化工廠、食品廠等，他們廠區(qū)內(nèi)部有很多運(yùn)貨的車(chē)每天不分晝夜在跑，這些工作都是可以被無(wú)人駕駛?cè)〈鷣?lái)發(fā)揮作用的。無(wú)人駕駛現(xiàn)在還不能在公開(kāi)道路上實(shí)現(xiàn)“無(wú)安全員”商業(yè)運(yùn)營(yíng)。但馭勢(shì)科技目前可以實(shí)現(xiàn)在機(jī)場(chǎng)、廠區(qū)內(nèi)“無(wú)安全員”。

機(jī)場(chǎng)無(wú)人物流

我們進(jìn)入香港機(jī)場(chǎng)已經(jīng)兩三年，目前每天都是若干輛車(chē)在常態(tài)化的無(wú)人駕駛運(yùn)輸貨物。因?yàn)闄C(jī)場(chǎng)那邊要求全天候運(yùn)行，在一些有挑戰(zhàn)的情況，比如大雨也需要正常運(yùn)營(yíng)。（播放視頻）這是現(xiàn)場(chǎng)錄制的無(wú)人駕駛拖車(chē)在雨中運(yùn)行的情況。

廠區(qū)無(wú)人物流

廠區(qū)無(wú)人物流是我們另一個(gè)非常成功的案例，和上汽通用五菱的合作廠區(qū)物流是從2019年就開(kāi)始做的，我們建成了國(guó)內(nèi)首條無(wú)人駕駛的線路，目前達(dá)到了全球無(wú)人物流運(yùn)行里程第一和無(wú)人物流車(chē)數(shù)量第一。在那邊的廠區(qū)中，我們?cè)?0多條路線上，100臺(tái)車(chē)7×24小時(shí)不間斷運(yùn)作，共運(yùn)行了20多萬(wàn)公里的總里程。初期線路不是特別多，也有算法、軟硬件方面的一些小問(wèn)題，但是隨著我們?cè)谶\(yùn)營(yíng)過(guò)程中不斷的優(yōu)化和迭代，現(xiàn)在的問(wèn)題數(shù)量已經(jīng)下降了非常多，運(yùn)營(yíng)很穩(wěn)定。

RoboTaxi

RoboTaxi這邊，我們今年和東風(fēng)合作的武漢項(xiàng)目。他們反復(fù)考察了多家企業(yè)，我們的技術(shù)得到了高度認(rèn)可，成為他們的合作伙伴之一。

我們跟上汽大眾也在合作RoboTaxi項(xiàng)目，也持續(xù)合作好幾年了，上汽大眾非常認(rèn)可我們的技術(shù)。

我們?cè)跍y(cè)試RoboTaxi（播放視頻），這個(gè)場(chǎng)景跟剛才不太一樣，是在城鄉(xiāng)結(jié)合部，場(chǎng)景里交通狀況較為復(fù)雜。

最后這個(gè)是我們跟上汽通用五菱合作的自主代客泊車(chē)產(chǎn)品，無(wú)激光雷達(dá)，是去年到今年做的。

原文標(biāo)題：馭勢(shì)科技：無(wú)人駕駛定位與感知技術(shù)及應(yīng)用案例

文章出處：【微信公眾號(hào)：佐思汽車(chē)研究】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq