電子發(fā)燒友網(wǎng)報(bào)道（文/李寧遠(yuǎn)）從可穿戴設(shè)備到虛擬助手，再到汽車?yán)走_(dá)/激光雷達(dá)，各種傳感器在邊緣設(shè)備中的使用越來越多，這不僅要求SoC在DSP性能和低功耗/面積之間取得最佳平衡，還要求SoC開發(fā)人員能夠輕松擴(kuò)展其硬件架構(gòu)以處理不同數(shù)量的數(shù)據(jù)流。

Sensor Fusion傳感器融合

傳感器融合的目的簡(jiǎn)單來說，就是結(jié)合大量傳感設(shè)備的數(shù)據(jù)得出更精準(zhǔn)的結(jié)果。因?yàn)楦黝悅鞲衅鞫加凶约旱膬?yōu)劣勢(shì)，不可能從單一傳感獲得我們所需要的所有功能，因此sensor fusion傳感器融合這一概念應(yīng)運(yùn)而生。得益于MEMS技術(shù)的發(fā)展以及傳感器成本在逐漸下降，很多傳感設(shè)備都能應(yīng)用到這一概念中來。

其中在日常生活中，已經(jīng)有很多sensor fusion的應(yīng)用，一個(gè)大家都會(huì)用到的例子就是計(jì)步器。要達(dá)到比較精準(zhǔn)的步伐計(jì)算，通常會(huì)融合加速度計(jì)、陀螺儀、磁力儀等等。有的計(jì)步器為了感知周圍環(huán)境還會(huì)加上壓力傳感器、溫度傳感器。這種簡(jiǎn)單的應(yīng)用不需要太高的運(yùn)算能力，小型MCU上的幾十個(gè)MIPS就足夠。

涉及全屋智能、汽車自動(dòng)駕駛ADAS這種場(chǎng)景sensor fusion就復(fù)雜多了，會(huì)涉及很多交互、感知、識(shí)別。這種場(chǎng)景計(jì)算要求很高，而且需要?jiǎng)討B(tài)管理計(jì)算資源，并且通常來說，這類應(yīng)用里功耗都是受限的。

sensor fusion是一個(gè)基礎(chǔ)模塊，有了它，便可以實(shí)現(xiàn)穩(wěn)定的定位、穩(wěn)定的目標(biāo)檢測(cè)以及穩(wěn)定的單目標(biāo)多目標(biāo)跟蹤。sensor fusion并不是簡(jiǎn)單的傳感器堆疊，它是傳感器的屬性合一。以現(xiàn)在最火熱的汽車ADAS應(yīng)用來說，攝像頭、Lidar以及Radar的融合是最常見的。這些傳感器進(jìn)行融合的先決條件，是傳感器必須在一個(gè)共同參考系中，同時(shí)傳感器必須能夠以某些方式同步或者能用一個(gè)通用的時(shí)間參考。

時(shí)間同步是很重要的一個(gè)環(huán)節(jié)，不同傳感器觸發(fā)方式不相同，原始數(shù)據(jù)幀率也各不相同，從10Hz到幾百Hz不等。有的傳感器自帶時(shí)間基準(zhǔn)，有的需要外部時(shí)間戳。一般由硬件同步板卡來完成很高精度的時(shí)間同步。

Sensor Fusion異構(gòu)處理需求

各式各樣的傳感設(shè)備意味著有著各式各樣的數(shù)據(jù)需要處理，不同數(shù)據(jù)的處理可能有著天差地別的處理方式，因此有彈性的處理方式更契合現(xiàn)在的sensor fusion。

（DSP與sensor fusion，Synopsys）

因?yàn)檫@種應(yīng)用里包含了大量的運(yùn)算，通用處理器已經(jīng)不太適合，一般采用DSP或特定的硬件加速器。而硬件加速器只適用特定的應(yīng)用，不太適合可能需要各種運(yùn)算的傳感器融合系統(tǒng)。而向量DSP有大量的并行處理，包括VLIW，SIMD以及多核，可以很好地滿足PPA的要求。

DSP IP如何助力sensor fusion面臨的挑戰(zhàn)？

在前端處理上，DSP處理與傳感器相關(guān)的輸出信息，這些前端處理上往往會(huì)涉及包括F相關(guān)算術(shù)運(yùn)算，比如FFT，CFAR，以及線性代數(shù)和非線性代數(shù)，以及向量運(yùn)算等等基礎(chǔ)的資料處理運(yùn)算。后端處理根據(jù)應(yīng)用會(huì)有很大的變化，像物體偵測(cè)、物體識(shí)別，物體追蹤等等應(yīng)用里DSP運(yùn)算會(huì)隨著時(shí)間不斷演進(jìn)，運(yùn)算的資料形態(tài)也根據(jù)實(shí)際情況不盡相同，運(yùn)算多樣彈性較高。

這里會(huì)涉及數(shù)據(jù)的關(guān)聯(lián)，Lidar提供3D點(diǎn)云數(shù)據(jù)，圖像提供2D數(shù)據(jù)，毫米波雷達(dá)提供雷達(dá)點(diǎn)，這些數(shù)據(jù)全部關(guān)聯(lián)起來需要進(jìn)行匹配計(jì)算做特征匹配，會(huì)有大量的運(yùn)算需求。DSP除了能提供這些前后端處理的計(jì)算能力，也能夠分擔(dān)一些融合中和AI相關(guān)的計(jì)算任務(wù)。一個(gè)好的DSP IP很適合作為sensor fusion的運(yùn)算單元，提供運(yùn)算的彈性，支援多樣的運(yùn)算。

（ARC VPX DSP IP，Synopsys）

什么樣的DSP IP可以降低sensor fusion在SoC層面面臨的挑戰(zhàn)？首先，從一體式結(jié)構(gòu)來說，DSP IP需要提供豐富的接口集是很有必要的，啟動(dòng)器接口、目標(biāo)總線接口以及支持外設(shè)和加速器集成的接口都需要支持。高效的數(shù)據(jù)移動(dòng)能力不必多說，這不僅需要能從內(nèi)存和外設(shè)中移動(dòng)數(shù)據(jù)的高效DMA，還要能提供在高內(nèi)存延遲上的恢復(fù)能力。最后，一流的PPA當(dāng)然也是不能少的，更高的運(yùn)算能力更少的功耗總是更好的。

小結(jié)

各種sensor fusion應(yīng)用推動(dòng)了對(duì)更高效數(shù)字信號(hào)處理的需求，采用經(jīng)過VLIW，SIMD，多核等并行處理器技術(shù)優(yōu)化后的DSP IP，可以在遵守單一編程環(huán)境的同時(shí)來優(yōu)化處理一系列sensor fusion應(yīng)用里的工作負(fù)載。