隨著越來越多的自動(dòng)駕駛汽車難題出現(xiàn)，挑戰(zhàn)的難度越來越大。

　　汽車工業(yè)正在將傳感器融合作為應(yīng)對(duì)日益增加的自動(dòng)駕駛汽車所需的復(fù)雜性和可靠性的最佳選擇，為汽車內(nèi)部如何管理和利用來自多個(gè)設(shè)備的數(shù)據(jù)的另一轉(zhuǎn)變奠定了基礎(chǔ)。

　　事實(shí)證明，向更大的自治邁進(jìn)比起初所期望的要復(fù)雜得多。不僅要求在長(zhǎng)壽命內(nèi)具有零磁場(chǎng)故障的高可靠性，這些車輛還必須在所有天氣和駕駛條件下都安全，有保障并充分了解其周圍環(huán)境，且他們需要以可承受的成本進(jìn)行此操作。

　　因此，將傳感器融合作為前進(jìn)的方向成為了人們關(guān)注的焦點(diǎn)，它將多種多樣且互補(bǔ)的傳感方式融合在一起。

　　Synopsys的首席研發(fā)工程師PietervanderWolf說：“如果更仔細(xì)地研究ADAS以及它如何適合汽車，我們會(huì)發(fā)現(xiàn)許多子系統(tǒng)用于許多不同的功能。像雷達(dá)，激光雷達(dá)和攝像頭這樣的不同技術(shù)都在單個(gè)汽車上使用，例如，用于巡航控制的遠(yuǎn)程雷達(dá)，檢測(cè)其他交通的短程雷達(dá)以及所有雷達(dá)和基于攝像頭的子系統(tǒng)各種其他功能。由于汽車中有很多子系統(tǒng)，因此降低組件成本非常重要。”

　　圖1：傳感器融合。

　　每種傳感器模式都基于不同的物理原理，不同的目標(biāo)和不同的模式。它們都有不同的目的。其中一些重疊，但是它們都需要分別運(yùn)行以及一起運(yùn)行。

　　安森美半導(dǎo)體全球汽車戰(zhàn)略和業(yè)務(wù)發(fā)展副總裁約瑟夫·諾塔羅說：“雷達(dá)用于在相當(dāng)遠(yuǎn)的距離上檢測(cè)，定位和跟蹤物體。激光雷達(dá)使用光來測(cè)量范圍（可變距離），以生成其周圍區(qū)域的3D圖像。視覺傳感器捕獲穿過鏡頭的光子以生成“圖像”，該圖像不僅可以幫助檢測(cè)，而且可以識(shí)別物體，交通標(biāo)志和行人。實(shí)時(shí)操作對(duì)于AV/ADAS系統(tǒng)至關(guān)重要，因此主要挑戰(zhàn)之一是每個(gè)傳感器捕獲的數(shù)據(jù)的“同步”以提取準(zhǔn)確和相關(guān)的信息。每個(gè)傳感器用來捕獲信息的技術(shù)是不同的，因此必須深入了解每種模式的工作方式，以有效地“融合”這些多樣化的數(shù)據(jù)集?！?/p>

　　汽車行業(yè)在定義電氣/電子（E/E）體系結(jié)構(gòu)方面發(fā)生了重大變化。最初的想法是將超級(jí)計(jì)算機(jī)放在汽車中間，側(cè)面裝有啞傳感器。出于多種原因，事實(shí)證明這是不現(xiàn)實(shí)的。

　　Cadence汽車解決方案總監(jiān)RobertSchweiger表示：“在這種模型中，我們將轉(zhuǎn)移所有數(shù)據(jù)并在一個(gè)地方處理數(shù)據(jù)?！?？人們很快意識(shí)到傳感器還不在那里，汽車內(nèi)的接口，網(wǎng)絡(luò)連接并沒有為原始傳感器數(shù)據(jù)傳輸提供所需的帶寬。但是傳感器融合的最大挑戰(zhàn)是每個(gè)人都在做專有的解決方案。這就是為什么我們?cè)谏a(chǎn)中甚至還沒有達(dá)到3級(jí)自治的原因。每個(gè)人都在尋求不同的解決方案?！?/p>

　　一、邁向?qū)ο笕诤?/p>

　　汽車架構(gòu)的變化無處不在。

　　“一段時(shí)間以來，原始傳感器融合是個(gè)大問題?！?a href="http://m.1cnz.cn/tags/西門子/" target="_blank">西門子業(yè)務(wù)Mentor的自主和ADASSoC高級(jí)總監(jiān)DavidFritz說?！拔胰绾螌⑺羞@些原始數(shù)據(jù)引入并集中處理，以便我可以進(jìn)行比較和對(duì)比并進(jìn)行這種處理？行業(yè)的發(fā)展方式，我跟索尼談不重要，跟OEM或一級(jí)或二級(jí)廠商談也不重要。他們的方向都是一致的。在過去的一兩年里，有一些突破性的進(jìn)展，使得一種全新的方法，這在工程上更有意義。

　　直到最近，人們的想法是，所有的東西都是計(jì)算復(fù)雜的，所有的東西都需要AI，這需要消耗大量的電力。

　　”當(dāng)時(shí)的想法是有大量的訓(xùn)練，所以用一堆NvidiaGPU或NPU或類似的東西來集中進(jìn)行訓(xùn)練是有意義的，“Fritz說?！爆F(xiàn)在發(fā)生的情況是，從那些高性能、高功率、高成本的解決方案轉(zhuǎn)向基于Arm的東西，這種東西非常小，非常低的功率，非常具有成本效益，從這些通用的AI推理引擎，轉(zhuǎn)向可以自動(dòng)生成和定制的東西?，F(xiàn)在只要花1.5美元，就可以把所有的功率放在傳感器那里?！?/p>

　　有兩個(gè)原因說明這一點(diǎn)極為重要。

　　”首先，你有機(jī)會(huì)訓(xùn)練這些AI算法來處理該傳感器特有的情況，例如，一個(gè)傳感器可能會(huì)以不同于另一個(gè)傳感器的方式處理霧氣，所以一個(gè)可以處理所有可能性的中央計(jì)算機(jī)是沒有意義的。同樣，你必須考慮到隨著時(shí)間的推移，傳感器可能會(huì)退化的事實(shí)。例如，對(duì)于不同的相機(jī)傳感器，這一點(diǎn)可以做得非常不同，你可以訓(xùn)練你的算法來適應(yīng)這一點(diǎn)。在傳感器層面有很多事情，你要在傳感器層面進(jìn)行處理?！癋ritz解釋說。

　　”第二，與其在汽車上通過一個(gè)大而重的網(wǎng)絡(luò)發(fā)送這些TB的原始數(shù)據(jù)，因?yàn)槠噷?duì)振動(dòng)和其他東西很敏感，為什么我們不直接發(fā)送一個(gè)32字節(jié)的小數(shù)據(jù)包。這是不是比我們稱之為對(duì)象的中央計(jì)算過程有意義多了？這就變成了對(duì)象融合，而不是原始的傳感器融合。“

　　不過，一些OEM廠商認(rèn)為所有的AI算法都需要來自他們。一些傳感器供應(yīng)商認(rèn)為他們需要在傳感器中投入更多的處理能力。

　　”在以太網(wǎng)方面，現(xiàn)在我們已經(jīng)有了1Gbps的生產(chǎn)速度，但它可能仍然不夠快，無法連接高端雷達(dá)傳感器，“Schweiger說?！彼晕覀冃枰?.5到5，甚至10Gbps.同時(shí)，還有新發(fā)布的MIPIA-PHY規(guī)范版本，它提供了16Gbps的第一個(gè)化身?，F(xiàn)在有很多不同的事情在發(fā)生，人們需要弄清楚如何利用這些東西，以及到什么時(shí)候可以使用。“

　　另一個(gè)趨勢(shì)是向非常先進(jìn)的工藝技術(shù)發(fā)展，因?yàn)樽谥醒胗?jì)算單元中的SoC的復(fù)雜性是巨大的?！蔽覀兛吹皆诠杳娣e方面的巨大芯片。在處理能力方面，我們看到了巨大的芯片。我們看到在這些芯片上有各種你能想象到的接口。而且我們看到客戶正在向7納米、5納米發(fā)展。“Schweiger說。

　　二、傳感器融合問題

　　傳感器融合中的一個(gè)大問題是競(jìng)爭(zhēng)性的軟件架構(gòu)。這包括從autosar自適應(yīng)到Autoware等開源軟件，特斯拉、Waymo和戴姆勒的專有解決方案；以及Nvidia、英特爾的商業(yè)平臺(tái)。這還只是在架構(gòu)方面。

　　此外，還有來自Nvidia、英特爾、偉世通和Aptiv等公司的競(jìng)爭(zhēng)性硬件平臺(tái)。這些公司都在打造自己的硬件平臺(tái)，所以目前沒有標(biāo)準(zhǔn)。這些公司都在創(chuàng)建一個(gè)平臺(tái)，并試圖贏得客戶。Nvidia被認(rèn)為是領(lǐng)先的，因?yàn)樗谑袌?chǎng)上已經(jīng)有一段時(shí)間了，隨著CUDA軟件環(huán)境的發(fā)展，它的平臺(tái)也在不斷發(fā)展。但是，雖然它被認(rèn)為是一個(gè)很好的原型系統(tǒng)，但對(duì)于生產(chǎn)來說，它可能過于昂貴。對(duì)于戴姆勒來說，它承諾明年的S級(jí)車將在量產(chǎn)中實(shí)現(xiàn)3級(jí)自動(dòng)駕駛，自動(dòng)駕駛平臺(tái)的成本可以在一輛昂貴的豪華車上攤銷。但對(duì)于價(jià)格較為適中的車輛來說，情況就不一樣了。

　　再加上專有的人工智能芯片、硬件加速器和接口標(biāo)準(zhǔn)，以及高功耗和傳感器的魯棒性，這些挑戰(zhàn)，自動(dòng)汽車系統(tǒng)開發(fā)開始顯得更加艱巨。

　　1、數(shù)據(jù)問題

　　雷達(dá)和激光雷達(dá)數(shù)字信號(hào)處理芯片的另一個(gè)關(guān)鍵要素是互連，它在芯片內(nèi)不同處理元件之間來回傳送數(shù)據(jù)。在這里，目前也沒有標(biāo)準(zhǔn)，盡管需要標(biāo)準(zhǔn)。

　　“你可以說這是狂野的西部，但你也可以說有大量的創(chuàng)新在發(fā)生，”ArterisIP的營(yíng)銷副總裁KurtShuler說。”無論是在傳感器芯片上，還是在ADAS大腦芯片上，都是如此。最終，你希望能夠用符號(hào)術(shù)語(yǔ)來解釋事情，并有一個(gè)中間層，一旦你得到這些數(shù)據(jù)，數(shù)據(jù)在傳輸?shù)倪^程中是用某種語(yǔ)言，雙方都能理解，即使他們來自兩個(gè)不同的公司。我不知道的是，要把一些東西從更多的原始數(shù)據(jù)格式轉(zhuǎn)換成有用的東西，需要多少處理。最終，必須要有一個(gè)數(shù)據(jù)格式?！?/p>

　　目前，數(shù)據(jù)的首要問題是數(shù)量，以及數(shù)據(jù)從更多來源產(chǎn)生的事實(shí)。“我們預(yù)計(jì)未來會(huì)發(fā)生的是，數(shù)據(jù)會(huì)以更快的速度，更高的分辨率出現(xiàn)，”Rambus公司的研究員和杰出發(fā)明家StevenWoo說。“我們還處于早期，有一些傳感器具有今天的分辨率。但很多人都在說，如果他們需要做出更好的決策，就需要更精細(xì)的分辨率的攝像頭，以及激光雷達(dá)和類似的東西。而我們需要更快地獲得這些數(shù)據(jù)?！?/p>

　　此外，為了做出好的決策，需要對(duì)數(shù)據(jù)進(jìn)行分析，有一個(gè)時(shí)間窗口。“在一個(gè)簡(jiǎn)單的例子中，可能有一個(gè)攝像頭的視頻，只是看了看車前的東西?！盬oo說。“有可能事情是在其他物體的后面，被包括在一小部分秒的時(shí)間里。所以擁有更大的數(shù)據(jù)窗口有助于確定這些東西。所以問題其實(shí)是我們需要保留多少數(shù)據(jù)才能做出一個(gè)好的決定。而為了做出一個(gè)好的決定，數(shù)據(jù)基本上需要在內(nèi)存中，你需要能夠快速地流過它，以便分析它并找出發(fā)生了什么?！?/p>

　　2、場(chǎng)景問題

　　在所有這些復(fù)雜的情況下，傳感器需要正常工作。但一個(gè)傳感器只有在理想條件下的表現(xiàn)才是好的。

　　“這意味著在一個(gè)晴朗的夏天，它是最好的，”Ansys的杰出工程師LarryWilliams說?！比欢?，即使在理想的條件下，也有一個(gè)挑戰(zhàn)，那就是如何將雷達(dá)、激光雷達(dá)、攝像頭，也許還包括慣性導(dǎo)航，以及車輛中的某種加速度計(jì)的響應(yīng)結(jié)合起來。我們也要研究這些傳感器在實(shí)際環(huán)境中的退化問題。比如說一個(gè)雷達(dá)看到你周圍有多輛車。你要判斷它是一輛自行車還是一個(gè)騎自行車的人。系統(tǒng)會(huì)進(jìn)行比較，或者包括和融合攝像頭的信息，根據(jù)是否合理來做出判斷。

　　但是在各種場(chǎng)景下，會(huì)發(fā)生什么情況呢？比如說，我們都有這樣的經(jīng)歷，午后開車回家，西行，太陽(yáng)就在眼前。陽(yáng)光也在相機(jī)的眼睛里。這樣的情況下，攝像頭是會(huì)退化的，雷達(dá)就不一樣了。所以好的地方是，有多種方式的感應(yīng)。一個(gè)可以增強(qiáng)另一個(gè)降級(jí)的時(shí)候。但是在其他情況下，退化的情況會(huì)更多，尤其是在雨天。在雨中，整個(gè)環(huán)境的減弱就更大了。有雨滴積聚在相機(jī)的鏡頭上，這是會(huì)讓畫面變形的。不僅僅是天上的降水，還有另一輛剛開過的車，會(huì)把額外的雨滴吹到相機(jī)上。我們一直在探索的一件事是，在現(xiàn)實(shí)世界的環(huán)境中會(huì)發(fā)生什么，而不是在理想環(huán)境中。我們可以刺激理想環(huán)境。但隨著傳感器的退化，會(huì)如何降低系統(tǒng)的性能？在傳感器的理想環(huán)境下已經(jīng)很難做到了，但在現(xiàn)實(shí)世界的條件下就更糟糕了?！?/p>

　　這對(duì)傳感器融合有影響。

　　“我們對(duì)人工智能有很強(qiáng)的依賴性，比如說我們?nèi)绾卧谶@些車輛中訓(xùn)練一個(gè)人工智能引擎來理解它們的環(huán)境，我們可以做到?！盬illiams指出。”但從模擬的角度來看，我們研究的是如何去做這種訓(xùn)練。通常情況下，這是呈現(xiàn)給AI引擎，也就是車輛內(nèi)部的大腦。它被呈現(xiàn)出很多不同的案例，并努力識(shí)別或分類場(chǎng)景中的對(duì)象是什么。這樣反復(fù)做，最終會(huì)訓(xùn)練AI引擎里面的這個(gè)機(jī)器學(xué)習(xí)方法里面的神經(jīng)網(wǎng)絡(luò)來理解這些東西。你怎么可能訓(xùn)練它呢？你需要在測(cè)試環(huán)境中做成千上萬的案例，用仿真的方式。豐田的CEO說過，非常著名的一句話，就是需要走88億英里的路，你才能讓這些車輛足夠安全。要做到88億英里是不可能的。Waymo和特斯拉和其他公司把所有的數(shù)據(jù)放在一起，最后一份報(bào)告說他們只有大約600萬英里的記錄。你得做1000倍的數(shù)據(jù)才行。對(duì)于這種工程任務(wù)和軟件開發(fā)來說，了解模擬和分析的力量很重要?！?/p>

　　這不是關(guān)于駕駛的里程，而是關(guān)于可以捕捉到的場(chǎng)景，這包括了一大類永遠(yuǎn)不會(huì)被駕駛的場(chǎng)景。

　　“比方說，我正在測(cè)試一個(gè)道路場(chǎng)景，一邊是一輛加油車，另一邊是一輛校車，我們撞上了一塊冰?！盇nsys公司高頻高級(jí)產(chǎn)品經(jīng)理ShawnCarpenter說?！拔矣肋h(yuǎn)不會(huì)把它設(shè)置成駕駛它。但在模擬中，我可以粉碎我想要的許多位。我可以研究危及生命或破壞財(cái)產(chǎn)的場(chǎng)景，而這些場(chǎng)景我永遠(yuǎn)不會(huì)接近于獲得任何形式的模擬許可，我可以真正研究主動(dòng)安全系統(tǒng)的模擬，而這是我在路上永遠(yuǎn)無法做到的?！?/p>

　　3、安全問題

　　安全性是越來越多的自主汽車的另一個(gè)方面，也是備受關(guān)注的一個(gè)方面，因?yàn)轵?qū)動(dòng)系統(tǒng)在整個(gè)生命周期內(nèi)必須連接到互聯(lián)網(wǎng)上進(jìn)行空中更新。將安全和保障結(jié)合起來，這一點(diǎn)就更加迫切需要做好。

　　“僅僅是安全本身或安全本身就會(huì)留下一個(gè)很大的漏洞，”Mentor的Fritz說。”當(dāng)我們理解了可靠性和安全性之后，現(xiàn)在安全領(lǐng)域最大的變化是，人們終于明白了安全不是一個(gè)軟件問題。真正的安全是一個(gè)硬件問題。我們必須能夠證明，從重要信息和外界沒有物理路徑--然而里面運(yùn)行的軟件確實(shí)需要以安全的方式訪問這些信息。大多數(shù)黑客是通過堆棧溢出，或者這樣或那樣的機(jī)制進(jìn)入的。這些很容易被關(guān)閉。但這并不能阻止他們發(fā)現(xiàn)一些沒有人考慮過的東西，如果外界和這些專有信息之間沒有物理上的聯(lián)系，他們就永遠(yuǎn)無法獲得這些信息。這里需要的是必須發(fā)生在SoC本身，以保證外界之間的隔離，在任何密碼或密鑰或類似的東西需要一個(gè)IP安全部分?！?/p>

　　這也是為什么所有的東西都被整合到SoC上的部分原因，但這種整合也帶來了自己的問題?！币粋€(gè)習(xí)慣于構(gòu)建100個(gè)ECU全部基于微控制器的系統(tǒng)的客戶如何向整合系統(tǒng)過渡？“Cadence的Schweiger問道?！盨oC提供了很多機(jī)會(huì)來整合系統(tǒng)，使其更小、更省電、更高性能，所以有所有這些選擇。但如果你從未設(shè)計(jì)過SoC，這意味著你必須建立起真正了解SoC設(shè)計(jì)或架構(gòu)的團(tuán)隊(duì)。當(dāng)然，你可以與服務(wù)公司合作構(gòu)建芯片，但需要有人來定義需要什么，必須有一定的理解。這就是為什么會(huì)有各種不同的方法。總有車廠聘請(qǐng)芯片設(shè)計(jì)師做自己的芯片。也有其他的整車廠，可能在這個(gè)領(lǐng)域比較不愿意。但到了最后，如果你真的認(rèn)真對(duì)待自動(dòng)駕駛，很可能需要去做芯片設(shè)計(jì)?！?/p>

　　他們還需要了解如何在這些芯片中內(nèi)置安全功能?！拔覀?cè)絹碓蕉嗟乜吹?，人們已?jīng)明白了安全的重要性，安全是其中之一，你不能設(shè)計(jì)好你的系統(tǒng)，然后試著去改造它，并希望有一個(gè)真正安全的環(huán)境。因此，當(dāng)人們現(xiàn)在考慮芯片的架構(gòu)時(shí)，它確實(shí)已經(jīng)成為了一個(gè)首要的設(shè)計(jì)要求，你不僅要考慮你的處理器核心要做什么，你要如何給它提供數(shù)據(jù)，以及你要如何來回移動(dòng)這些數(shù)據(jù)，還要考慮安全的綜合觀點(diǎn)。”

　　但即使盡了最大的努力，汽車安全總是會(huì)受到威脅。

　　“有時(shí)候我們說，我們并不是要模擬這些現(xiàn)實(shí)世界中可能發(fā)生的事情，因?yàn)槲覀冎皇钦J(rèn)為人們沒有技能去做?！盩ortugaLogic的高級(jí)硬件安全工程師AlricAlthoff說?！岸绻腥舜_實(shí)有這個(gè)技能，那就會(huì)讓他們更多地處于防御、國(guó)防類的思維方式。我從那些正在建立和訓(xùn)練模型來做車輛檢測(cè)、自由空間檢測(cè)、邊界檢測(cè)的人那里看到的是，他們的帽子他們不是在談?wù)撁黠@的事情，比如失去一個(gè)傳感器，或者失去一個(gè)模式，以及模型如何響應(yīng)。如果你給了模型控制權(quán)，而你不了解模型是如何思考這個(gè)世界的，你就無法真正提出這些問題?；蛘呶覀冞€沒有開發(fā)出技術(shù)來詢問模型關(guān)于它的決定。我們?cè)趺粗浪鼘⑷绾位貞?yīng)？這類事情真的很重要?！?/p>

　　這在傳感器融合中變得尤為復(fù)雜。“在傳感器融合中，隨著我們涉及更多的模式，保真度不斷提高，還有一個(gè)傳感器獨(dú)立性的概念，”Althoff說。“我們?cè)趺茨茏屛覀內(nèi)诤系膫鞲衅魍蝗婚g完全獨(dú)立呢？如果突然間它們之間的相互依賴性被如此鎖定，你失去了一個(gè)，突然間它就會(huì)開始在車輛中表現(xiàn)得非常不穩(wěn)定，這不是好事。我們真的要能夠同時(shí)容納融合和獨(dú)立，并決定臨界點(diǎn)在哪里，因?yàn)樵谟旰挽F中，視覺傳感器會(huì)失去敏銳度。激光雷達(dá)可能不會(huì)。激光雷達(dá)知道現(xiàn)在它是唯一的視覺傳感器嗎？系統(tǒng)知道嗎？它是如何反應(yīng)的？它是否向激光雷達(dá)發(fā)出信號(hào)，告訴它進(jìn)入超高保真模式或類似的東西？也許像備胎一樣：它不可能一直這樣運(yùn)行?！?/p>

　　這是物理方面的問題。在車內(nèi)，數(shù)字硬件需要保護(hù)和防篡改?！辈迦胲囕v的CAN總線，只需閃現(xiàn)固件就可以輕松得令人發(fā)指，所以還有一個(gè)方面，如果有人換了傳感器怎么辦，“他指出。”傳感器是否在系統(tǒng)中進(jìn)行自我認(rèn)證？系統(tǒng)對(duì)傳感器的要求是什么，說：‘你現(xiàn)在的完整性是什么？攝像機(jī)的鏡頭是不是壞了？它可能還能正常工作，但在那個(gè)關(guān)鍵時(shí)刻，你會(huì)失去一些真正重要的東西。所以物理世界和數(shù)字世界之間有一種相互作用，我們必須克服在不同的孤島中工作。我們都需要進(jìn)入同一個(gè)房間，互相交流?！?/p>

　　模塊化設(shè)計(jì)對(duì)事情沒有幫助。”在電子設(shè)計(jì)中，我們已經(jīng)經(jīng)典地設(shè)計(jì)了模塊化，我們?cè)O(shè)計(jì)了一個(gè)分離的關(guān)注點(diǎn)，比如’除了通過這個(gè)狹小的接口，這塊不會(huì)影響另一塊，‘“他說。”但我們正在進(jìn)入一個(gè)整體驗(yàn)證和事物之間的相互關(guān)系正在成為一個(gè)真正的焦點(diǎn)的世界。我們真的需要超越我們只關(guān)注模塊化的思維模式，擁有雙重視角，我們?cè)诮?jīng)典方法和新技術(shù)之間來回穿梭，甚至可能通過人工智能的增強(qiáng)，幫助我們找到我們所忽視的東西，這包括安全。在神經(jīng)網(wǎng)絡(luò)或決策函數(shù)的訓(xùn)練過程中，需要一個(gè)對(duì)抗性強(qiáng)的模型。我們需要預(yù)測(cè)到這些的替換，我們需要預(yù)測(cè)到人們會(huì)試圖覆蓋這些。即使是家庭愛好者也會(huì)嘗試用新的神經(jīng)網(wǎng)絡(luò)來覆蓋他們汽車中的神經(jīng)網(wǎng)絡(luò)，使他們能夠從汽車中獲得更高的性能。“
責(zé)任編輯人：CC