在先進(jìn)駕駛輔助系統(tǒng)中， 基于視覺的行人檢測只能對攝像頭視野范圍內(nèi)的無遮擋行人進(jìn)行檢測， 并且易受天氣的影響， 在極端天氣下無法工作。針對視覺檢測的缺陷， 提出了一種利用超寬帶（Ultra Wideband，UWB）通信模塊檢測行人位置信息的方法， 并對其進(jìn)行卡爾曼濾波以減小誤差， 同時將得到的行人位置信息與基于視覺的行人檢測信息融合， 設(shè)定匹配規(guī)則防止多報警和誤報警的情況。測試結(jié)果表明，融合方法能夠增加對視野外以及被遮擋行人的危險預(yù)警，提高了行人檢測預(yù)警系統(tǒng)的可靠性。

先進(jìn)駕駛輔助系統(tǒng)（Advanced Driver Assistance System，ADAS）是目前汽車安全領(lǐng)域的研究熱。在ADAS中， 采用基于視覺的方法進(jìn)行行人檢測的缺點(diǎn)是只能對攝像頭視野范圍內(nèi)的無遮擋行人進(jìn)行檢測， 而很多行人碰撞事故的發(fā)生正是由于駕駛員或攝像機(jī)受到局部或者全部遮擋時無法及時發(fā)現(xiàn)前方行人造成的，同時攝像頭工作環(huán)境易受天氣影響，在極端天氣下無法工作， 導(dǎo)致基于視覺的主動安全設(shè)備的適應(yīng)性比較差。近年來， 隨著無線通信技術(shù)的發(fā)展， 車用無線通信（Vehicle to Everything，V-X）技術(shù)的應(yīng)用可降低交通事故發(fā)生率或避免此類碰撞交通事故的發(fā)生。

行人檢測是計(jì)算機(jī)視覺比較有挑戰(zhàn)性的問題，基于HOG+SVM的行人檢測算法，采用了滑動窗口技術(shù)，對每一個窗口進(jìn)行前景和背景的二分類，并對圖像進(jìn)行縮放。基于HOG特征擴(kuò)展出來的HOG+AdaBoost方法進(jìn)行了分類器級聯(lián)， 通過強(qiáng)分類器排除沒有人的候選區(qū)域以加快檢測速度。

針對行人檢測中的遮擋問題，DPM+latent SVM方法采用部件檢測進(jìn)行優(yōu)化。深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測算法方面取得了巨大突破，以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN，RCNN）為代表的Fast-RCNN、Faster-RCNN等系列網(wǎng)絡(luò)， 在行人檢測任務(wù)上取得了較好的檢測效果， 但在速度方面仍有不足。REDMON等基于深度卷積神經(jīng)網(wǎng)絡(luò)提出單次檢測框架（YOLO系列框架），實(shí)現(xiàn)了端對端實(shí)時目標(biāo)檢測， 在保證檢測效果的同時提高了檢測速率。

車聯(lián)網(wǎng)在智能交通系統(tǒng)和車輛安全等領(lǐng)域的相關(guān)應(yīng)用逐漸成為研究熱點(diǎn)。王野秋等將UWB通信模塊置于車身上來進(jìn)行車輛間的相對定位。蔣夢琴等將UWB通信模塊用于車輛跟馳距離檢測，跟馳距離超過某一閾值時就對駕駛員進(jìn)行報警提示。趙佳樂等通過UWB通信模塊進(jìn)行車對車的信息傳輸， 從而實(shí)現(xiàn)了輔助車輛跟馳、 車輛換道以及車輛超車等功能。澳洲智能網(wǎng)聯(lián)汽車智能型運(yùn)輸系統(tǒng)開發(fā)商與澳洲電信合作， 使用4G移動通信網(wǎng)絡(luò)成功完成了行人防撞預(yù)警測試， 而隨著5G技術(shù)的發(fā)展， 基于無線通信的行人安全應(yīng)用將逐漸得到普及。

本文將視覺技術(shù)與V-X技術(shù)相結(jié)合， 實(shí)現(xiàn)車載式與網(wǎng)聯(lián)式主動安全設(shè)備的信息融合。用UWB通信模塊做測試， 并提升基于UWB通信的行人定位精度， 通過UWB和視覺分別得出行人與車輛間的相對位置信息，根據(jù)碰撞時間模型判斷危險行人， 以提高ADAS系統(tǒng)中車輛-行人碰撞預(yù)警的可靠性。

1結(jié)合運(yùn)動模型的UWB行人定位

UWB通過納秒至微秒級的非正弦波窄脈沖傳輸數(shù)據(jù)， 具有傳輸速率高、抗干擾能力強(qiáng)、 多徑分辨率高、 系統(tǒng)容量大等優(yōu)點(diǎn)， 適用于精確測距及定位，因此， 選用UWB通信模塊進(jìn)行無線通信行人檢測定位測試。行人攜帶UWB定位標(biāo)簽， 將UWB定位基站布置于車身上， 選取基于到達(dá)時間的雙邊測距算法， 依據(jù)三邊定位方法測得行人相對于車輛的位置坐標(biāo)。為了減少誤差， 對行人的運(yùn)動狀態(tài)進(jìn)行估計(jì)，以提升行人的定位精度。

1.1UWB行人測距、定位原理

為了計(jì)算得出目標(biāo)物體的位置坐標(biāo)， 一般情況下首先需要測量得到未知節(jié)點(diǎn)與已知節(jié)點(diǎn)之間的距離值。基于到達(dá)時間測量法（Time of Arrival，TOA） 通過計(jì)算無線電磁波的傳輸時間， 依據(jù)電磁波飛行速度換算得出兩測距模塊的間距。為消除時鐘偏差帶來的誤差， 采用雙邊測距法， 在兩測距模塊之間增加一次傳輸， 記錄每次信號發(fā)送及接收時間，則計(jì)算得出兩測距模塊間電磁波單次飛行時間，如式（1）所示。

式中：為基站發(fā)送并接收信號的時間間隔；發(fā)送到接收信號的時間間隔；為標(biāo)簽從接收到發(fā)送信號的時間間隔；為基站從接收到發(fā)送信號的時間間隔。

假設(shè)3個基站的位置坐標(biāo)分別為、以及，待求的行人標(biāo)簽坐標(biāo)為，則通過3個定位圓相交于一點(diǎn)， 可以進(jìn)一步計(jì)算出未知行人的位置坐標(biāo)。在實(shí)際應(yīng)用中，由于測距誤差的存在， 致使3個定位圓在一般情況下難以交為一點(diǎn)，如圖1所示。

3 個定位圓的3 個交點(diǎn)構(gòu)成一個三角形區(qū)域，利用三角質(zhì)心法令定位圓的3 個交點(diǎn)分別為，則標(biāo)簽定位點(diǎn)坐標(biāo)計(jì)算如式（2）所示。

1.2 行人運(yùn)動狀態(tài)估計(jì)

卡爾曼濾波是目前在定位系統(tǒng)中廣泛應(yīng)用的方法。卡爾曼濾波器能夠綜合傳感器輸出值和依據(jù)先驗(yàn)知識所得出的狀態(tài)估計(jì)值，從而得到更為貼近真實(shí)值的結(jié)果。

依據(jù)前兩個連續(xù)時刻的行人相對定位結(jié)果來計(jì)算出行人與車輛間的相對運(yùn)動速度值，并根據(jù)此相對運(yùn)動速度對下一時刻行人相對車輛的位置進(jìn)行估計(jì)，同時結(jié)合該UWB 行人定位的實(shí)時測量值來綜合計(jì)算出下一時刻行人相對車輛的定位結(jié)果，其中最初兩次的行人定位結(jié)果直接依照觀測值給出。在恒變速條件下，卡爾曼濾波器狀態(tài)矩陣狀態(tài)轉(zhuǎn)移矩陣?如式（3）所示。

由定位系統(tǒng)給出的觀測結(jié)果為周圍行人相對車輛的相對位置坐標(biāo)，觀測向量為，結(jié)合上文的誤差分析，在長沙近郊某路段進(jìn)行定位測試，使測試行人與測試車輛共線勻速相對運(yùn)動，對該行人進(jìn)行濾波前后的相對定位測試，其定位結(jié)果對比如圖2 所示。

2 基于視覺的行人檢測及測距

深度學(xué)習(xí)目標(biāo)檢測模型YOLOv3 在準(zhǔn)確率和速度方面得到了很好的平衡，對小目標(biāo)有很好的檢測效果，適用于自動駕駛場景下的多目標(biāo)快速檢測。

對COCO 和KITTI 數(shù)據(jù)集進(jìn)行清洗，獲得只有行人的一類目標(biāo)標(biāo)注數(shù)據(jù)集，在此數(shù)據(jù)集上使用YOLOv3 模型訓(xùn)練得出以行人為檢測目標(biāo)的權(quán)重文件及配置文件。使用攝像頭獲取到車輛前方的圖像信息，并利用訓(xùn)練的檢測權(quán)重實(shí)現(xiàn)行人檢測。

使用雙目實(shí)現(xiàn)檢測目標(biāo)的測距，雙目測距通過兩個攝像頭從不同角度采集同一目標(biāo)物體圖像信息，經(jīng)匹配計(jì)算得出目標(biāo)點(diǎn)在兩個攝像頭中的成像視差測得目標(biāo)物的深度信息，可計(jì)算得到行人深度值Z，如式（4）所示。

式中：Z 為行人與攝像頭間的縱向距離；f 為相機(jī)焦距；B 為基線長度，即兩相機(jī)間的中心距；分別為目標(biāo)點(diǎn)在左右兩個攝像頭成像的像素橫坐標(biāo)值。結(jié)合上文中由視覺檢測出的行人結(jié)果，以檢測框中心點(diǎn)坐標(biāo)作為目標(biāo)點(diǎn)，測得行人與攝像頭間的縱向距離Z，即為行人與車輛間相對縱向坐標(biāo)同時通過找到相機(jī)成像中的滅點(diǎn)，由滅點(diǎn)與目標(biāo)像素點(diǎn)間的連線通過標(biāo)定得到的像素比計(jì)算得出目標(biāo)像素點(diǎn)距離相機(jī)的橫向距離，即其橫向坐標(biāo)

3 UWB 及視覺信息融合預(yù)警方法

3.1 預(yù)警原理

碰撞時間（Time to Collision，TTC）指車輛與目標(biāo)物體間的跟馳距離除以兩者的相對速度，即在此時刻預(yù)計(jì)兩者的碰撞剩余時間值，是常用的評價車輛行車安全的指標(biāo)。根據(jù)連續(xù)兩個時刻內(nèi)行人相對位置的變化計(jì)算出行人與車輛間的相對速度，通過測出的距離值計(jì)算得到的TTC 值來評估行人、車輛的碰撞風(fēng)險。計(jì)算原理如圖3 所示，TTC 計(jì)算公式如式（5）所示。

式中：為行人與車輛間的相對速度；?為連續(xù)兩時刻間的時間間隔，即檢測系統(tǒng)更新行人位置的時間間隔；為某時刻行人與車輛相對運(yùn)動速度方向與行人車輛連線方向間的夾角；為行人與車輛沿直線距離方向的相對運(yùn)動速度；為該時刻檢測系統(tǒng)測得的行人與車輛間的相對距離值。當(dāng)計(jì)算得出的TTC 值達(dá)到安全閾值時，判定此時行人與車輛間存在潛在的碰撞危險。

3.2 坐標(biāo)系轉(zhuǎn)換與信息融合

為了將UWB 無線通信系統(tǒng)的行人檢測預(yù)警結(jié)果與視覺的行人檢測預(yù)警結(jié)果相融合，首先需要建立一個世界坐標(biāo)系，并將UWB 檢測結(jié)果與視覺檢測結(jié)果分別轉(zhuǎn)換到世界坐標(biāo)系中。由于預(yù)警只需要進(jìn)行行人平面定位，因此只考慮平行于地面的二維坐標(biāo)系。

空間中的世界坐標(biāo)系可由用戶自由定義，由于車輛行駛過程中與行人發(fā)生碰撞的部位主要是車輛前方車頭突出部分，因此，將車輛與行人間的相對距離值設(shè)定為行人與車輛最前方車頭中點(diǎn)的距離，將世界坐標(biāo)系原點(diǎn)設(shè)置在車輛最前端中點(diǎn)處，世界坐標(biāo)系如圖4 所示。

UWB 的3 個通信基站分別安裝于車身的前保險杠中間部位以及車輛左右的C 柱底端部位，為了計(jì)算方便，將UWB 檢測定位系統(tǒng)的坐標(biāo)系建立在車輛前向保險杠中間部位的通信模塊上，UWB坐標(biāo)系如圖4 中所示。由于車輛前方的UWB 通信模塊的安裝位置與世界坐標(biāo)系原點(diǎn)間的Y向安裝間距為，則UWB 坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如式（6）所示。

對于視覺坐標(biāo)系，使用了水平儀將攝像機(jī)布置在車內(nèi)后視鏡位置，保持?jǐn)z像機(jī)鏡頭平面與地面垂直，視覺坐標(biāo)系為圖4中所示，令攝像頭安裝位置與世界坐標(biāo)系原點(diǎn)間的Y 向安裝間距為則視覺行人坐標(biāo)值轉(zhuǎn)換至世界坐標(biāo)系的關(guān)系式如式（7）所示。

3.3 預(yù)警融合算法

3.3.1 基于歐式距離的危險行人位置匹配

令UWB 的危險行人點(diǎn)集合為U，視覺危險行人點(diǎn)集合為V，將集合U 與集合V 進(jìn)行匹配。首先進(jìn)行坐標(biāo)系轉(zhuǎn)換，假設(shè)UWB 危險行人坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系中的位置坐標(biāo)為，視覺危險行人坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系中的位置坐標(biāo)為，分別計(jì)算某種檢測中每個危險行人位置點(diǎn)與另一種檢測中所有危險行人位置點(diǎn)間的歐式距離值，求得其中的最小距離，若最小距離值在設(shè)定閾值范圍內(nèi)，則判定匹配成功，匹配公式如式（8）所示。

式中：?為UWB 定位系統(tǒng)的定位誤差值；為雙目視覺測距誤差值；s 為測試過程中的動態(tài)匹配調(diào)整值。

3.3.2 預(yù)警決策流程

得到UWB 危險行人位置點(diǎn)與視覺危險行人位置點(diǎn)的匹配結(jié)果后，若UWB 檢測的危險點(diǎn)無法找到對應(yīng)匹配的視覺危險點(diǎn)，則判定該行人為被障礙物遮擋或在攝像機(jī)視野外的行人，依據(jù)UWB 檢測結(jié)果給予預(yù)警并標(biāo)識出遮擋的危險行人相應(yīng)位置。若視覺危險點(diǎn)無法找到對應(yīng)的UWB 檢測危險點(diǎn)進(jìn)行匹配，則判定為非攜帶UWB 模塊的行人，給出視覺預(yù)警結(jié)果。若匹配成功，則為視覺和UWB 共同檢測判定出的危險點(diǎn)，給出視覺預(yù)警提示。具體預(yù)警融合流程如圖5 所示。

4 測試結(jié)果分析

4.1 測試平臺搭建

本文選取某型號UWB 芯片進(jìn)行測試，測距芯片的主要參數(shù)見表1。

選取ZED 雙目攝像機(jī)來進(jìn)行視覺檢測測試，該雙目立體攝相機(jī)同步獲取到空間物體的雙目圖像，并在計(jì)算機(jī)中通過對應(yīng)的軟件開發(fā)包來計(jì)算分析。雙目攝相機(jī)參數(shù)見表2。

4.2 定位誤差測試

4.2.1 基于UWB 通信的行人定位誤差測試

為衡量行人運(yùn)動情況下的定位誤差，對UWB行人定位算法進(jìn)行動態(tài)誤差測試。在天氣晴朗的條件下分別在車速為20 km/h、30 km/h、40 km/h 的情況下對行人在0 ～ 15 m 及15 ～ 30 m 的距離段進(jìn)行定位測試，并對結(jié)果進(jìn)行誤差分析。UWB 車輛安裝及UWB 行人攜帶如圖6 所示，所得到的不同車速及距離下的定位平均誤差及最大誤差見表3。

由上述檢測結(jié)果可知，UWB 定位誤差隨著車速的增加而增加，并隨著檢測距離的增加而增加，在行人與車輛相距0 ～ 15 m 的范圍內(nèi)，動態(tài)測距平均誤差較低，整體在不同車速下該距離范圍內(nèi)的誤差較為穩(wěn)定。一般情況下，對于車輛有碰撞危險的行人大部分處于這個距離范圍。因此，可認(rèn)為該定位適用于本文的碰撞危險行人檢測。

4.2.2 基于視覺的行人定位誤差測試

在不同天氣和光照的情況下進(jìn)行多組視覺行人檢測定位誤差測試，將雙目攝像機(jī)安裝在車內(nèi)后視鏡位置處，其具體的安裝位置如圖7 所示。分別針對晴天、雨天以及不同的距離段進(jìn)行了多組測試，并分析定位誤差，得到不同天氣及距離段下的定位平均誤差和最大誤差，其定位誤差結(jié)果見表4。

從定位檢測結(jié)果可以看出，晴天時，在15 m以內(nèi)的平均定位誤差在0.74 m，而15 ～ 30 m 的定位誤差超過1 m；雨天時，由于行人檢測準(zhǔn)確率受到影響，出現(xiàn)跳變的情況，導(dǎo)致15 m 內(nèi)誤差超過1 m。在夜晚也進(jìn)行了測試，然而由于夜晚光照度很低，能檢測出行人的幀數(shù)較少，所以夜晚檢測定位效果不佳。

4.3 UWB 通信和視覺融合的行人預(yù)警測試

在天氣晴朗的條件下進(jìn)行試驗(yàn)，以30 km/h 的車速對15 m 以內(nèi)的行人進(jìn)行UWB 及視覺的融合行人預(yù)警測試，根據(jù)上文對基于UWB 和視覺的行人定位動態(tài)誤差的測試結(jié)果，選取為0.53 m，為0.74 m。首先進(jìn)行被遮擋行人預(yù)警測試，測試本系統(tǒng)對被遮擋行人的檢測效果。設(shè)定一個被遮擋的危險行人點(diǎn)進(jìn)行測試，一共進(jìn)行30 組檢測測試，測試得到的結(jié)果見表5。

圖8 為綜合預(yù)警測試的界面，視覺框中右前方行人被障礙物遮擋，駕駛員以及攝像頭無法檢測到行人，使用該綜合預(yù)警的方法可以根據(jù)匹配結(jié)果獲取視覺無法檢測的被遮擋行人位置，并在視覺界面中標(biāo)識出危險行人，給出行人坐標(biāo)，給予預(yù)警。圖9 為測試現(xiàn)場的場景記錄，表5為測試結(jié)果。圖9 中的右側(cè)為布置UWB 基站的白色車輛，左邊為攜帶UWB 標(biāo)簽的危險行人。

根據(jù)試驗(yàn)結(jié)果，全程漏標(biāo)或錯標(biāo)危險點(diǎn)的次數(shù)為0，說明本融合預(yù)警系統(tǒng)可以有效檢測出被遮擋的危險行人，具有很強(qiáng)的可靠性。同時，全程正確標(biāo)識出危險點(diǎn)的情況達(dá)到了96.7%，說明本系統(tǒng)具有較強(qiáng)的穩(wěn)定性。有兩次間斷性漏標(biāo)或錯標(biāo)危險點(diǎn)的情況，經(jīng)分析是某時刻由于外界影響UWB 定位時突然發(fā)生較大跳變所致。

再進(jìn)行無遮擋行人預(yù)警測試，檢驗(yàn)本系統(tǒng)對不同傳感器信息的融合效果。在上述同樣試驗(yàn)條件下設(shè)定一個無遮擋行人危險點(diǎn)，進(jìn)行30 次試驗(yàn)，試驗(yàn)結(jié)果見表6。

根據(jù)試驗(yàn)結(jié)果，預(yù)警失敗的次數(shù)為0，說明本融合預(yù)警系統(tǒng)可以有效檢測出危險行人，同時匹配成功的情況達(dá)到了93.3%，說明本系統(tǒng)可以有效匹配UWB 危險行人點(diǎn)和視覺危險行人點(diǎn)，危險行人點(diǎn)多報、誤報的概率較低。

5 結(jié)論

（1）開發(fā)了一種融合UWB 和視覺信息的行人預(yù)警系統(tǒng)。試驗(yàn)表明，本系統(tǒng)能夠用來檢測視覺被遮擋狀態(tài)下的危險行人，并提高行人碰撞預(yù)警系統(tǒng)的可靠性。

（2）通過誤差分析對UWB 車載基站的布置方式進(jìn)行了優(yōu)化，在采用雙邊測距和三點(diǎn)定位法時，使用等腰三角形布置下的最大誤差值為0.90 m，對不同車速條件下的UWB定位誤差進(jìn)行了量化分析。

（3） 在被遮擋行人試驗(yàn)中， 融合UWB 和視覺信息的行人定位系統(tǒng)全程檢測準(zhǔn)確率達(dá)到了96.7%，在無遮擋行人試驗(yàn)中，本系統(tǒng)匹配成功正確率達(dá)到了93.3%，驗(yàn)證了該行人預(yù)警系統(tǒng)的有效性。

審核編輯：劉清