引言

/Foreword

鑒于自動駕駛系統(tǒng)（Automated Driving System, ADS）和交通環(huán)境的復(fù)雜性以及安全事件的偶發(fā)性，自動駕駛系統(tǒng)需要安全、可靠地處理由外界和自身變化帶來的多種不確定性，才能有效保障智能網(wǎng)聯(lián)汽車安全合規(guī)地行駛，并逐步提升舒適性和智能性。因此，在智能網(wǎng)聯(lián)汽車開發(fā)設(shè)計(jì)流程中，測試驗(yàn)證評價(jià)是必不可少的環(huán)節(jié)——這需要基于智能網(wǎng)聯(lián)汽車的設(shè)計(jì)運(yùn)行條件（Operational Design Condition，ODC）、安全邊界及最小風(fēng)險(xiǎn)策略等，對自動駕駛功能開展全面的測試驗(yàn)證工作。[1]

為確保智能網(wǎng)聯(lián)汽車產(chǎn)品測試方案的可行性和測試結(jié)果的一致性，以及合理調(diào)配測試資源、有效降低測試成本，賽目科技參考國內(nèi)外相關(guān)法規(guī)和技術(shù)標(biāo)準(zhǔn)，基于長期積累的智能網(wǎng)聯(lián)汽車測試經(jīng)驗(yàn)，提出智能網(wǎng)聯(lián)汽車產(chǎn)品測試策略——構(gòu)建場景集，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“測什么”的問題；提出智能網(wǎng)聯(lián)汽車測試場景和“三支柱”的匹配方法，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測試“怎么測”的問題。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的測試策略研究如何解決智能網(wǎng)聯(lián)汽車測試“測什么”和“怎么測”兩個核心問題。

測什么？

場景集構(gòu)建！

對自動駕駛系統(tǒng)進(jìn)行測試，其目的是測試其在實(shí)際運(yùn)行過程中，面對各種工況下的安全性、合規(guī)性、舒適性、智能性等，因此自動駕駛系統(tǒng)測試的場景集應(yīng)至少能覆蓋系統(tǒng)的設(shè)計(jì)運(yùn)行條件，并充分考慮自動駕駛系統(tǒng)工況中可能出現(xiàn)的危險(xiǎn)場景和失效場景。基于此，賽目科技提出，應(yīng)通過多種來源構(gòu)建測試場景集，以確保智能網(wǎng)聯(lián)汽車測試的科學(xué)性、充分性，主要包括：標(biāo)準(zhǔn)法規(guī)類場景、預(yù)期功能安全場景以及實(shí)車采集數(shù)據(jù)轉(zhuǎn)換場景。通過以上多種分析途徑得到的場景作為ADS測試場景集的輸入，構(gòu)成ADS測試場景集。

1

標(biāo)準(zhǔn)法規(guī)場景構(gòu)建

標(biāo)準(zhǔn)法規(guī)類測試場景主要參考國內(nèi)外在自動駕駛測試領(lǐng)域發(fā)布的政策標(biāo)準(zhǔn)法規(guī)，包括GB/T 41798-2022《智能網(wǎng)聯(lián)汽車 自動駕駛功能場地試驗(yàn)方法及要求》[2]、UN Regulation No. 157 - Automated Lane Keeping Systems (ALKS)[3]、A Framework for Automated Driving System Testable Cases and Scenarios[4]等。基于其中提出的測試場景，通過提取場景中的關(guān)鍵要素，與ADS的關(guān)鍵元素進(jìn)行匹配，以匹配程度作為依據(jù)，決定是否對該場景進(jìn)行測試。

標(biāo)準(zhǔn)法規(guī)場景關(guān)鍵元素分析匹配流程如圖 1所示：

圖1 關(guān)鍵元素分析流程

（點(diǎn)擊查看大圖）

如圖 1所示，首先分析并提取出ADS所有關(guān)鍵元素，構(gòu)造有且僅有ADS全部關(guān)鍵元素的集合。同理，分析并提取標(biāo)準(zhǔn)法規(guī)類場景中的關(guān)鍵元素，構(gòu)造集合并判斷：

如成立，說明場景在ADS功能的ODC范圍內(nèi)，即ADS可以在場景中正常運(yùn)行，故確定場景為必測場景，并將場景加入到標(biāo)準(zhǔn)法規(guī)場景集中；

反之，如果存在任意元素，但，則說明場景不在ADS的設(shè)計(jì)運(yùn)行范圍內(nèi)，所以為非必測場景。

下文將通過一個實(shí)際案例，更直觀地展示關(guān)鍵元素分析法的思路。

本案例選取ADS功能交通擁堵輔助自動駕駛功能（Traffic Jam Pilot, TJP）為分析對象，選取TJP功能描述中聲明的ODC元素構(gòu)建關(guān)鍵元素集合。TJP功能描述[5]以及ODC元素如下表 1所示：

表1 自動駕駛TJP功能說明

以GB/T 41798-2022《智能網(wǎng)聯(lián)汽車 自動駕駛功能場地試驗(yàn)方法及要求》[2]中推薦的場景為例進(jìn)行分析，標(biāo)準(zhǔn)場景“施工車道”和“前方車輛切入”的分析過程見下表2：

表2 標(biāo)準(zhǔn)法規(guī)場景匹配程度分析示例

參照上述分析思路，對標(biāo)準(zhǔn)法規(guī)中涉及的場景進(jìn)行遍歷分析，篩選測試場景，形成標(biāo)準(zhǔn)法規(guī)場景集。

2

預(yù)期功能安全場景集構(gòu)建

預(yù)期功能安全（Safety Of The Intended Functionality, SOTIF）重點(diǎn)關(guān)注“預(yù)期功能”的安全性，即：滿足預(yù)期設(shè)計(jì)要求的功能所具有的安全水平。由于自動駕駛系統(tǒng)本身和運(yùn)行工況的復(fù)雜性與未知性，自動駕駛功能即使?jié)M足設(shè)計(jì)要求，仍可能存在大量的安全運(yùn)行風(fēng)險(xiǎn)，故需要對ADS進(jìn)行SOTIF分析，并對風(fēng)險(xiǎn)控制方案進(jìn)行測試驗(yàn)證。[6]因此，為了支撐驗(yàn)證測試，需要基于SOTIF分析構(gòu)建預(yù)期功能安全測試場景集。

圖2 預(yù)期功能安全分析與場景構(gòu)造流程

（點(diǎn)擊查看大圖）

SOTIF分析流程如圖2所示，首先基于ADS系統(tǒng)的ODC分析，明確ADS的系統(tǒng)邊界，同時(shí)需要對系統(tǒng)功能及ODC等進(jìn)行明確定義。

隨后，依次從整車層面、系統(tǒng)層面以及組件層面，分析識別預(yù)期功能的潛在危害行為，并對已識別出的危害事件進(jìn)行風(fēng)險(xiǎn)評估，并定義相應(yīng)的風(fēng)險(xiǎn)可接受準(zhǔn)則。

如果證明危害事件不會導(dǎo)致不合理的風(fēng)險(xiǎn)，則不需應(yīng)用額外的修改措施。若危害事件會導(dǎo)致不合理風(fēng)險(xiǎn)，需要識別可能導(dǎo)致預(yù)期功能危害行為的根本原因，并評估潛在功能不足和觸發(fā)條件引起的風(fēng)險(xiǎn)是否合理。

根據(jù)前期的活動，如果必要，則對功能進(jìn)行修改（如：改進(jìn)傳感器的能力，系統(tǒng)降級，進(jìn)一步限制ODC，提示接管等），以改進(jìn)預(yù)期功能安全。若評估系統(tǒng)對觸發(fā)條件的響應(yīng)為可接受，則構(gòu)造相應(yīng)的測試場景，通過“三支柱”測試證明與SOTIF相關(guān)的整車層面殘余風(fēng)險(xiǎn)在功能修改后已滿足風(fēng)險(xiǎn)可接受水平。為了能夠收集所需的證據(jù)，可以從該策略中導(dǎo)出相應(yīng)的測試用例，且保證ODC上的測試用例具有足夠高的覆蓋率。

下表3是分析示例，分別分析了ADS的TJP功能的功能不足和性能局限，并以“攝像頭識別標(biāo)志線”和“攝像頭識別目標(biāo)物”為例，基于危害行為分析、危害分析，構(gòu)造預(yù)期功能安全場景：

表3 自動駕駛TJP功能說明

功能分層	攝像頭識別標(biāo)志線	攝像頭識別目標(biāo)物
危害行為	攝像頭無法識別磨損車道線，導(dǎo)致車道線識別率下降，試驗(yàn)車未識別到車道線，轉(zhuǎn)向系統(tǒng)輸出力矩，制動系統(tǒng)未輸出制動力。	前方目標(biāo)車顏色（橘黃色）與當(dāng)前背景顏色（黃昏時(shí)）相近，攝像頭對前方目標(biāo)物識別準(zhǔn)確度下降，試驗(yàn)車未識別前方目標(biāo)車輛，制動系統(tǒng)未輸出制動力，轉(zhuǎn)向系統(tǒng)未輸出力矩。
危害	試驗(yàn)車與目標(biāo)車存在碰撞風(fēng)險(xiǎn)	與前方目標(biāo)車存在碰撞風(fēng)險(xiǎn)
場景設(shè)計(jì)	直道，雙向4車道，右側(cè)存在目標(biāo)車。試驗(yàn)車以35km/h保持車道內(nèi)行駛，目標(biāo)車以30km/h行駛，兩車縱向距離10m、橫向距離1.75m，車道線磨損。	雙向4車道，試驗(yàn)車以40km/h保持車道內(nèi)行駛，相同車道前方目標(biāo)車以30km/h保持車道內(nèi)行駛，兩車縱向距離>15.6m，目標(biāo)車橘黃色，時(shí)間18:00，試驗(yàn)車逆光行駛。
場景圖示
可接受風(fēng)險(xiǎn)準(zhǔn)則	車輛不越過車道邊線，橫向加速度變化率在 0.5s 內(nèi)的平均值不超過5m/s3。	不發(fā)生碰撞，且制動減速度<3m/s2，減速后保持與前車最小安全距離>10.8m。或感知系統(tǒng)識別為ODC范圍外場景，提示接管并減速。

賽目科技自主研發(fā)了安全分析工具Safety Pro，按照標(biāo)準(zhǔn)化的流程執(zhí)行SOTIF閉環(huán)分析。Safety Pro整合了ISO 21448標(biāo)準(zhǔn)提及的所有分析方法，包括HAZOP、FTA、SPTA、GSN和FMEA，并在核心分析環(huán)節(jié)匹配雙重分析方法，形成互查、互補(bǔ)，充分保證分析結(jié)果的完整性，可分析產(chǎn)品的局限性和潛在不足，實(shí)現(xiàn)了SOTIF分析和邏輯場景自動化搭建。

圖3 SOTIF閉環(huán)分析流程

（點(diǎn)擊查看大圖）

圖 3為SOTIF閉環(huán)分析流程，關(guān)于安全分析工具Safety Pro的詳細(xì)介紹可參看往期文章《預(yù)期功能安全的閉環(huán)實(shí)踐——基于算法驅(qū)動的驗(yàn)證體系》。

3

實(shí)車采集數(shù)據(jù)場景集構(gòu)建

實(shí)車采集數(shù)據(jù)轉(zhuǎn)化而來的測試場景能夠保留真實(shí)交通場景的隨機(jī)性、復(fù)雜性，是擴(kuò)充場景集中自然駕駛場景、邊緣場景、失效場景的主要途徑。

實(shí)車采集數(shù)據(jù)場景構(gòu)建的主要方法是搭建采集車采集真實(shí)的交通數(shù)據(jù)信息，通過對采集信息的進(jìn)一步處理和轉(zhuǎn)換，生成仿真場景。目前，賽目科技已有自主研發(fā)的場景采集與生成工具鏈，如圖4所示該工具鏈集成了場景數(shù)據(jù)采集車、數(shù)據(jù)清洗、感知數(shù)據(jù)融合、場景識別與提取工具，并支持自動化生成OpenX標(biāo)準(zhǔn)格式的場景文件，實(shí)現(xiàn)了真實(shí)交通場景數(shù)據(jù)到模擬仿真場景文件的轉(zhuǎn)化。

圖4 場景采集與生成工具鏈結(jié)構(gòu)圖

（點(diǎn)擊查看大圖）

工具鏈中的場景識別與提取功能基于自編碼、聚類算法、算法融合等機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法，采用時(shí)間和數(shù)據(jù)多維度聚合和聚類算法，已能實(shí)現(xiàn)精確提取各種邏輯場景。自然駕駛場景有：主車/環(huán)境車切入切出，跟車等；危險(xiǎn)工況場景有：超車、緊急制動、連續(xù)變速、行人橫穿、行人主車同向、盲區(qū)遮擋等。場景自動化標(biāo)注工具還可以根據(jù)KPI（Key Performance Indicator）安全性指標(biāo)執(zhí)行場景提取標(biāo)注，常用的KPI安全性指標(biāo)有：碰撞時(shí)間、安全距離等。

此外，賽目科技還提供可與場景采集與生成工具配套的場景管理平臺，支持導(dǎo)入OpenX標(biāo)準(zhǔn)格式場景文件，以及場景文件標(biāo)簽標(biāo)注，大大提高場景采集與生成的效率。

4

場景泛化與用例生成

為了保證自動駕駛系統(tǒng)測試場景的有效性和覆蓋度，測試場景中的要素都被定義了取值范圍，可以是連續(xù)或離散，也可以是無限或有限。從場景角度來看，為了避免產(chǎn)生無限多場景，需對樣本空間進(jìn)行采樣，并通過盡量少的樣本，覆蓋設(shè)計(jì)運(yùn)行范圍。

場景空間樣本生成的方法有以全因子法、中心組合法和二次最優(yōu)法為代表的確定性樣本策略，以及以蒙特卡洛采樣、拉丁超立方采樣為代表的隨機(jī)樣本策略。

目前賽目科技研發(fā)的場景空間分析工具可實(shí)現(xiàn)邏輯場景采樣泛化——通過樣本空間生成方法，輸出具體場景，并能根據(jù)自動駕駛系統(tǒng)的安全要求和接受準(zhǔn)則進(jìn)行敏感性分析，實(shí)現(xiàn)參數(shù)空間維度降低，最終得到覆蓋被測自動駕駛系統(tǒng)功能和ODC的充分合理的測試用例集，如圖 5所示。

圖5 賽目科技測試空間分析工具示意圖

(點(diǎn)擊查看大圖）

除場景測試空間采樣泛化外，圖 5中還包括了測試空間分析工具的其他功能：

#

KPI初步分析

觀察整體表現(xiàn)，快速基于方差/概率的整體魯棒性分析。

#

敏感度分析

對測試空間進(jìn)行降維，提升測試效率；建立擬合模型，提供先驗(yàn)知識及近似求解器，提升可靠性分析效率。

#

可靠性分析

用可接受的成本對系統(tǒng)失敗概率的準(zhǔn)確估計(jì)。

#

臨界面魯棒性分析

基于可靠性分析尋找到的失敗臨界面，判斷系統(tǒng)在失敗臨界面的表現(xiàn)。

結(jié)語

本文是《智能網(wǎng)聯(lián)汽車測試策略研究》系列的上篇，主要回答了智能網(wǎng)聯(lián)汽車測試策略中“測什么”的問題，基于賽目科技的實(shí)踐經(jīng)驗(yàn)和研究成果，提出測試策略研究的場景集構(gòu)建方法，以及場景泛化與用例生成的方法。