全新的iPhone X集成了用于人臉識(shí)別的神經(jīng)引擎，但這僅僅是一個(gè)開(kāi)始。嵌入式神經(jīng)引擎和專用智能處理器在邊緣設(shè)備上實(shí)現(xiàn)了人工智能（AI），打破了對(duì)于云的依賴。邊緣處理的好處包括減少延遲，全網(wǎng)絡(luò)覆蓋，增加了隱私和安全性，并減少了與云端的通信，從而降低了成本。正因?yàn)榫邆渖鲜鰞?yōu)勢(shì)，移動(dòng)設(shè)備可以利用人工智能去實(shí)現(xiàn)不久前還只能出現(xiàn)在科幻小說(shuō)中的場(chǎng)景。

過(guò)去的機(jī)器現(xiàn)在是實(shí)時(shí)數(shù)據(jù)處理中心

我剛剛參加完我們的年度研討會(huì)，有機(jī)會(huì)親密接觸到了嵌入式世界中的AI技術(shù)。曾經(jīng)是純機(jī)械的機(jī)器，比如汽車、無(wú)人機(jī)和機(jī)器人，現(xiàn)在正變得智能起來(lái)，具備了可視、感知、跟蹤、分類、檢測(cè)、識(shí)別等能力。現(xiàn)在，這些設(shè)備使用計(jì)算機(jī)視覺(jué)和傳感器融合來(lái)收集和處理數(shù)據(jù)，并進(jìn)行實(shí)時(shí)決策。在某些情況下，比如無(wú)人駕駛汽車和無(wú)人機(jī)，決策是至關(guān)重要的，云端處理的延時(shí)可能導(dǎo)致難以接受的響應(yīng)時(shí)間。通過(guò)片上智能化，這些機(jī)器更準(zhǔn)確地被定義為了數(shù)據(jù)中心。

AI的邊緣化必須實(shí)時(shí)和低功耗地處理大量信息

無(wú)人駕駛車輛就是一個(gè)很好的例子，它需要大量的視覺(jué)和其它傳感器，以及衛(wèi)星定位信息和各種連接解決方案。它還必須有一個(gè)“大腦”完成數(shù)據(jù)融合和分析。同時(shí)基于云的處理和信息也將在自動(dòng)駕駛功能中發(fā)揮作用，因此必須有一個(gè)可以瞬間做出決策的車載處理器。即使出現(xiàn)零星的情況，操作車輛也不會(huì)有危險(xiǎn)是非常關(guān)鍵的。因此，處理器能夠處理密集的深度學(xué)習(xí)計(jì)算是必要的，而不是一個(gè)可選的功能。

汽車上的AI邊緣處理要求高水平的車載智能（來(lái)源于：CEVA）

神經(jīng)網(wǎng)絡(luò)的邊緣處理正在成為主流

在智能手機(jī)領(lǐng)域，蘋(píng)果通常是一個(gè)新增特性被作為主流必備還是利基市場(chǎng)（niche-market ）配件的試金石。隨著蘋(píng)果新旗艦iPhone X的發(fā)布，手機(jī)上配有一個(gè)專門的神經(jīng)引擎是人工智能邊緣處理的一件大事。如同我同事在最新的蘋(píng)果手機(jī)發(fā)布之前預(yù)測(cè)的一樣，這意味很快每個(gè)帶有攝像頭的設(shè)備將包括一個(gè)視覺(jué)DSP或其它專門的神經(jīng)網(wǎng)絡(luò)處理器。iPhone X里的神經(jīng)引擎實(shí)現(xiàn)了Face ID技術(shù)，允許用戶注視手機(jī)從而解鎖他們的iPhone。超快的響應(yīng)時(shí)間加上隱私和安全級(jí)別的考慮需要所有的識(shí)別處理必須在手機(jī)上完成。以現(xiàn)在設(shè)備上具備的AI能力，肯定會(huì)不斷推出更多令人興奮的AI功能。

谷歌也在其最新的旗艦手機(jī)Pixel 2中增加了類似的功能，通過(guò)稱之為像素視覺(jué)核心（Pixel Visual Core）的處理器實(shí)現(xiàn)。在競(jìng)爭(zhēng)激烈的智能手機(jī)領(lǐng)域，谷歌必須實(shí)現(xiàn)差異化。方法之一是推出相機(jī)搭載出眾軟件的Pixel智能手機(jī)。但是，圖像增強(qiáng)所需的密集計(jì)算，單鏡頭背景虛化效果，提高照片的動(dòng)態(tài)范圍，這些功能在目前大部分領(lǐng)先的智能手機(jī)自帶的標(biāo)準(zhǔn)處理器上不能高效地運(yùn)行。因此谷歌決定為這些功能添加第二個(gè)芯片，通過(guò)添加AI功能可能是另一個(gè)主要差異化的體現(xiàn)。華為最近也宣布了在麒麟970中集成了神經(jīng)引擎，另外還有許多其它公司也加入到競(jìng)賽中。

基于視覺(jué)DSP的引擎如何實(shí)現(xiàn)片上智能化？

雖然邊緣處理的好處顯而易見(jiàn)，它同時(shí)也帶來(lái)了挑戰(zhàn)。難題是如何將可以在巨型服務(wù)器上完成的數(shù)據(jù)運(yùn)算，放入到一個(gè)很小的手持設(shè)備中，同時(shí)電量還被消耗在許多其它處理任務(wù)上。這就是視覺(jué)DSP對(duì)于能否成功實(shí)現(xiàn)邊緣AI處理至關(guān)重要的原因。精簡(jiǎn)和高效，但強(qiáng)大的矢量化性能，讓DSP處理器成為完成神經(jīng)引擎工作負(fù)載的最佳選擇。

另一個(gè)挑戰(zhàn)是如何將現(xiàn)有的神經(jīng)網(wǎng)絡(luò)移植到嵌入式DSP環(huán)境里。這可能會(huì)消耗大量的開(kāi)發(fā)時(shí)間，代價(jià)變得非常昂貴。但是自動(dòng)化工具鏈可以支持“按鍵操作”，一站式服務(wù)將網(wǎng)絡(luò)的分析和優(yōu)化轉(zhuǎn)換到嵌入式環(huán)境中。對(duì)這樣的工具而言，覆蓋大量最先進(jìn)的網(wǎng)絡(luò)是非常重要的，以確保任何網(wǎng)絡(luò)都可以很容易地優(yōu)化并運(yùn)行在嵌入式設(shè)備上。

Faster RCNN——CEVA完整的自動(dòng)網(wǎng)絡(luò)生成器可以有效的降低帶寬和保持比特精度

移植和優(yōu)化過(guò)程完成后，通常會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行下采樣，從而以最少的信息丟失完成更快速的處理。例如在Faster RCNN （PDF）的流程中，我們有兩個(gè)處理階段，區(qū)域建議（proposal regions）和區(qū)域分類（classify regions）。

例子：Faster RCNN處理流

CEVA-XM家族處理器是超低功耗的視覺(jué)DSP，非常適合完成此類工作。通過(guò)添加CEVA-CNN硬件加速器（HWA）可以更進(jìn)一步提升性能，加速神經(jīng)網(wǎng)絡(luò)處理（例如Faster RCNN）。從下圖中可以看到，我們第五代視覺(jué)處理器CEVA-XM6，相比前一代獲獎(jiǎng)的CEVA-XM4性能有了顯著改善。添加CEVA-CNN硬件加速器則使性能又向前邁進(jìn)了一大步。

使用CEVA-XM視覺(jué)DSP家族后Faster RCNN的性能

基于深度學(xué)習(xí)的人工智能為手持設(shè)備帶來(lái)了無(wú)盡的機(jī)會(huì)：通過(guò)圖像增強(qiáng)獲得DSLR質(zhì)量的照片，增強(qiáng)和虛擬現(xiàn)實(shí)應(yīng)用，環(huán)境感知、避讓和導(dǎo)航、檢測(cè)、跟蹤、識(shí)別、分類、分割、映射、定位、視頻增強(qiáng)等等。我們手掌中擁有這樣的力量，看起來(lái)智能手機(jī)的通話功能就微不足道了。