因?yàn)楝F(xiàn)在人工智能應(yīng)用正面臨這下面三大挑戰(zhàn)：

一是數(shù)據(jù)隱私性的問題。目前人工智能應(yīng)用最多的領(lǐng)域是視頻和圖片，以及自然語音處理，這些數(shù)據(jù)的處理基本都是在云端進(jìn)行的，但這些數(shù)據(jù)傳到云端后會(huì)有一個(gè)隱私問題，有些數(shù)據(jù)人們其實(shí)是不想傳送到云端的。

二是算力問題。由于AI需要做的事情很多，比如物體檢測、人體檢測和識(shí)別、跟蹤，以及行為分析等等，加上現(xiàn)在的攝像頭分辨率越來越高，從720p 到 1080p ，再到4K， 使得AI對算力的要求越來越高。這就要求芯片具有更高的性能，從幾百GOPS到幾TOPS。

三是功耗問題。因?yàn)檫吘墏?cè)功耗限制，設(shè)備一般只有幾瓦，?留給AI運(yùn)算的部分只有幾百mW 到2W，這就需要新技術(shù)來應(yīng)對這個(gè)難題。

為了應(yīng)對這三大挑戰(zhàn)，Arm中國提出了一個(gè)解決方案，那就是周易人工智能平臺(tái)。該平臺(tái)使用的AI處理器Zhouyi?AIPU，采用了全新的為AI設(shè)計(jì)的專用指令集，具有高性能和高靈活性，單核有0.5、1、2、4TOPS可選，還支持多核；是一個(gè)具有硬件IP、軟件SDK和NBB的全棧解決方案；更重要的是，它支持安全擴(kuò)展。

那全新的專用指令集是如何實(shí)現(xiàn)高性能和高靈活性的呢？楊磊解釋說，這是因?yàn)锳rm采用了不同顆粒度的指令集，客戶可以根據(jù)自己的需求用類似搭積木的方式來設(shè)計(jì)自己的AI處理器。

“指令集根據(jù)運(yùn)算能力從小到大，可分為標(biāo)量指令、向量指令和面向AI硬件加速的AI固定指令。”楊磊表示。

為了滿足定制化和差異化需求，周易人工智能平臺(tái)還支持用戶根據(jù)特定場景，自定義擴(kuò)展AI Fix?Function指令。

楊磊還特別指出，在人工智能開發(fā)過程中工具鏈也是相當(dāng)重要的，Arm可以提供完整的工具鏈供工程師使用。其“一鍵式”周易軟件工具鏈，包括比如Build?Tool/Driver、性能優(yōu)化庫、軟件仿真器，以及AI算法示例等。可以實(shí)現(xiàn)一鍵從算法模型到周易可執(zhí)行文件生成。

圖：具有周易AIPU的參考芯片框架圖。

在《如何使用Google?Coral來構(gòu)建終端側(cè)AI》的主題演講中，中安信業(yè)的大數(shù)據(jù)部大數(shù)據(jù)總監(jiān)張巖則介紹了Google?Coral開發(fā)平臺(tái)、TensorFlow Lite模型、如何使用Coral開發(fā)板和預(yù)編譯模型來快速進(jìn)行驗(yàn)證，以及如何構(gòu)建模型等。

在他看來，傳統(tǒng)的IoT應(yīng)用，主要集中在傳感器的數(shù)據(jù)采集，僅做初步分析，或不做分析，就將數(shù)據(jù)傳送至云端，設(shè)備的ROI較低。而AIoT就是AI加上IoT，即在物聯(lián)網(wǎng)設(shè)備中加入人工智能元素，使物聯(lián)網(wǎng)設(shè)備更加智能，從而解決實(shí)際問題。

圖：中安信業(yè)的大數(shù)據(jù)部大數(shù)據(jù)總監(jiān)張巖。

AIoT增強(qiáng)了邊緣側(cè)的處理能力，縮短了系統(tǒng)的反應(yīng)時(shí)間、節(jié)省了海量數(shù)據(jù)傳輸及帶寬耗用，提高了隱私性和安全性。

張巖表示，現(xiàn)在AI算法模型有輕量化的趨勢。模型設(shè)計(jì)方面，主流算法輕量化趨勢明顯，計(jì)算量及權(quán)重大小減少了幾十倍；模型壓縮方面，模型壓縮方法層出不窮，有權(quán)重量化、剪枝、共享、哈夫曼編碼、低秩分解、遷移/壓縮卷積濾波器，以及知識(shí)蒸餾等。

通過這些技術(shù)，谷歌將在云端的自然語音處理包的大小從500G降低到了500M。從而可以使自然語音處理在邊緣側(cè)就能實(shí)現(xiàn)。

在張巖看來，智能設(shè)備和物聯(lián)網(wǎng)是未來幾年的最大潛力增長點(diǎn)，而人工智能將是推動(dòng)高速增長的關(guān)鍵。隨著AL/ML研究的持續(xù)發(fā)展，將會(huì)有更多的AI能力在智能設(shè)備上應(yīng)用，更多的AI能力從“云”上，遷移到設(shè)備中。

因此，在軟件上，需要更適合終端設(shè)備的更小、更快和更強(qiáng)的算法模型；在硬件上，需要可在終端上做機(jī)器學(xué)習(xí)推理的硬件解決方案。

圖：google?Coral是一個(gè)用于開發(fā)智能設(shè)備的機(jī)器學(xué)習(xí)應(yīng)用平臺(tái)。

而Google?Coral是一個(gè)用于開發(fā)智能設(shè)備的機(jī)器學(xué)習(xí)應(yīng)用平臺(tái)，它包括Google的TPU，支持TensorFlow框架，可以用來做人工智能的訓(xùn)練和推理。開發(fā)者可以利用成熟的模型來快速實(shí)現(xiàn)原型和產(chǎn)品驗(yàn)證。

Coral產(chǎn)品套件包括硬件和組件，硬件包括一個(gè)開發(fā)板和一個(gè)USB加速棒。開發(fā)板可以支持TFLite模型在上面直接做機(jī)器學(xué)習(xí)推理的功能；也可以將它作為一個(gè)單板計(jì)算機(jī)使用，直接接上IO外設(shè)來做原型開發(fā)。部署AI應(yīng)用和只用SoM板來擴(kuò)展到生產(chǎn)中，綁定相應(yīng)的軟件和定制化的硬件。

在使用Coral機(jī)器學(xué)習(xí)模型方面，主要有三種模式。一是使用預(yù)訓(xùn)練模型來訓(xùn)練；二是使用遷移學(xué)習(xí)，也就是使用預(yù)訓(xùn)練模型+自己的數(shù)據(jù)來訓(xùn)練模型；三是使用自己的模型來進(jìn)行訓(xùn)練。

賽靈思的AI市場開發(fā)總監(jiān)劉競秀分享的主題是《FPGA------智能計(jì)算加速引擎》，他在演講中表示，目前AI應(yīng)用的處理器主要有CPU、GPU、FPGA和ASIC，其中ASIC的效率是最高，但也有很多限制，比如做一顆ASIC的成本比較高，必須要有很大的出貨量才能分?jǐn)偟暨@些成本，二是要求算法不變。但現(xiàn)實(shí)是，現(xiàn)在的AI算法還在不斷演進(jìn)當(dāng)中，每隔幾個(gè)月就可能會(huì)有一個(gè)新的算法架構(gòu)出現(xiàn)。

因此，在這個(gè)特定的時(shí)間窗口，F(xiàn)PGA的半定制方案成為了AI的一個(gè)選擇。

圖：賽靈思的AI市場開發(fā)總監(jiān)劉競秀。

據(jù)劉競秀介紹，目前賽靈思的戰(zhàn)略是數(shù)據(jù)中心優(yōu)先，加速核心市場發(fā)展，驅(qū)動(dòng)自適應(yīng)的計(jì)算。而數(shù)據(jù)中心的業(yè)務(wù)包括計(jì)算加速、存儲(chǔ)和smartNIC與網(wǎng)絡(luò)加速。

比如其Alveo 加速器卡，可以用來大幅提升云端和本地?cái)?shù)據(jù)中心中業(yè)界標(biāo)準(zhǔn)服務(wù)器的性能。利用?Alveo，客戶在運(yùn)行實(shí)時(shí)機(jī)器學(xué)習(xí)推斷以及視頻處理、基因組學(xué)、數(shù)據(jù)分析等關(guān)鍵的數(shù)據(jù)中心應(yīng)用時(shí)，有望以較低時(shí)延實(shí)現(xiàn)突破性的性能提升。

Alveo 加速器卡針對各種類型的應(yīng)用提供顯著的性能優(yōu)勢。就機(jī)器學(xué)習(xí)而言，Alveo U250實(shí)時(shí)推斷吞吐量比高端CPU高出20倍，相對于高端GPU等固定功能的加速器，能讓2毫秒以下的低時(shí)延應(yīng)用性能提升4倍以上。此外，Alveo加速器卡相對于GPU能將時(shí)延減少 3 倍，在運(yùn)行實(shí)時(shí)推斷應(yīng)用時(shí)提供顯著的性能優(yōu)勢。數(shù)據(jù)庫搜索等一些應(yīng)用可從根本上得到加速，性能比CPU高90倍以上。

劉競秀在演講中表示，賽靈思的數(shù)據(jù)中心計(jì)算生態(tài)系統(tǒng)正在不斷擴(kuò)大。在技術(shù)與系統(tǒng)方面，有AMD、Arm、華為、IBM、Mellanox，以及Qualcomm等合作伙伴的支持；在云端開發(fā)與部署方面，有亞馬遜、阿里巴巴、百度、華為、Nimbix和騰訊云的共同參與；在應(yīng)用、工具與社區(qū)方面，則有Bitfusion、深鑒科技、Ngcodec等公司的共同合作。

圖：賽靈思的人工智能整體解決方案。

他同時(shí)還介紹了賽靈思在人工智能方面的解決方案，其中包括底層各種硬件，有賽靈思的平臺(tái)化產(chǎn)品，也有客戶開發(fā)的產(chǎn)品；以及FPGA IP、軟件堆棧和模型。

劉競秀強(qiáng)調(diào)，賽靈思會(huì)提供有些算法模型供客戶選擇，這些算法可以讓客戶更靈活地把FPGA用好。比如常用的目標(biāo)檢測分類、人臉識(shí)別、行為分析、視頻分析等。他承認(rèn)這些算法其實(shí)很多公司都有，賽靈思提供的這些算法模型也并不是說精度更好，只是對賽靈思的平臺(tái)更友好。

他同時(shí)還列舉了賽靈思人工智能在視頻分析和醫(yī)學(xué)影像分析方面的應(yīng)用。

最后，他總結(jié)說，賽靈思不論是從器件，還是開發(fā)板，抑或FPGA即服務(wù)方面都將賦能開發(fā)者，讓開發(fā)者更容易地開發(fā)出適合自己需求的產(chǎn)品。

雪湖科技市場總監(jiān)李冬冬的分享主題是《深度學(xué)習(xí)網(wǎng)絡(luò)&FPGA協(xié)同設(shè)計(jì)，彌補(bǔ)AI、BIGDATEA、CLOUD算力缺口》，目前，摩爾定律已經(jīng)進(jìn)入暮年，以CPU為主的芯片性能迭代速度放緩，AI、BIGDATEA、CLOUD對于算力的的需求呈指數(shù)級(jí)增長，然而面對算力缺口的問題，需要通過GPU、FPGA、ASIC等用計(jì)算加速方式來彌補(bǔ)。

圖：雪湖科技市場總監(jiān)李冬冬

在演講中，李冬冬對比了GPU、FPGA、ASIC作為主流加速平臺(tái)各自的不足和優(yōu)勢，市場目前普遍認(rèn)為，ASIC將會(huì)成為主流，因?yàn)锳SIC效率、邏輯密度和性能功耗比都是最好的，但它面臨兩大問題，研發(fā)費(fèi)用非常高，開發(fā)周期長達(dá)2-3年，跟不是市面上很多網(wǎng)絡(luò)的迭代3-4個(gè)月的迭代時(shí)間，因此GPU和FPGA有很大的市場空間。

對比FPGA 和GPU可以發(fā)現(xiàn)，GPU因?yàn)樗ㄓ眯苑浅８撸鱾€(gè)算法都可以支持，市場應(yīng)用空間很大，但問題是，GPU因?yàn)橥ㄓ眯苑浅８撸瑢?dǎo)致落地密度和性能都比較低。

李冬冬在演講中表示，目前FPGA的的性能和靈活性都介于GPU和ASIC中間，雪湖科技可以提升邏輯使用效率，簡短邏輯開發(fā)時(shí)間，補(bǔ)齊FPGA的傳統(tǒng)短板，進(jìn)而拓展FPGA應(yīng)用場景，加速人工智能落地。

據(jù)介紹，F(xiàn)PGA可以對各種算法網(wǎng)絡(luò)進(jìn)行硬件加速，包括且不限于FastRCNN、Yolo、RestNet、MobileNet、SSD、FaceNet、Inception、R FCN、Deeplab、NLP、etc等等，F(xiàn)PGA硬件加速效果顯著，比如FastRCNN可以從1FPS增加到24FPS，Yolo_V3 Tiny 從8FPS增加到66FPS。

雪湖科技成立于2017年，已獲得美圖在內(nèi)的兩輪風(fēng)險(xiǎn)投資，公司專注于基于FPGA的加速器開發(fā)，李冬冬表示，雪湖科技研發(fā)方向主要是將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（算法）和FPGA相結(jié)合，雪湖科技的產(chǎn)品類型有三類，標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)加速器、定制神經(jīng)網(wǎng)絡(luò)加速器和科學(xué)計(jì)算加速器，產(chǎn)品主要應(yīng)用在公有云、私有云、邊緣計(jì)算和自動(dòng)駕駛等方面，未來，工業(yè)控制、機(jī)器人、無人機(jī)等應(yīng)用方向也會(huì)規(guī)劃在內(nèi)。

巨龍創(chuàng)視技術(shù)支持工程師吳亮的演講主題是《安防+AI，如何落地？》，近十幾年來，安放領(lǐng)域發(fā)生了不少的變化，2002年開始進(jìn)入數(shù)字化安防，主要是板卡和DVR，2009年，高清IP化，主要是IPC和NVR，2016年進(jìn)入智能化，主要是IIC和IVR。

圖：巨龍創(chuàng)視技術(shù)支持工程師吳亮

在談到安防行業(yè)現(xiàn)狀時(shí)，吳亮認(rèn)為，大工程、高利潤大項(xiàng)目集中在行業(yè)巨頭手中；渠道性產(chǎn)品價(jià)格越來越低；品牌越來越集中，設(shè)備越來越便宜，價(jià)格越來越透明，多年行業(yè)經(jīng)驗(yàn)價(jià)值逐漸消失；AI產(chǎn)品當(dāng)前市場占比很低，出貨量不高，落地的不多。

而AI安防產(chǎn)品又面臨怎樣的市場現(xiàn)狀呢？吳亮表示，AI安防的時(shí)代已經(jīng)到來，AI產(chǎn)品第一波落地主要集中在大工程、大項(xiàng)目、大應(yīng)用上，雪亮布控，新零售、智慧社區(qū)、智慧校園已經(jīng)開始規(guī)模使用，但是大部分安防廠商反而沒有參與；當(dāng)前大部分AI產(chǎn)品價(jià)格高，落地難，魚目混雜，普通用戶無法為之買單。

面對如此的市場現(xiàn)狀，吳亮認(rèn)為，AI對于華南廠商來說存在諸多市場機(jī)會(huì)。

? ? ? ?首先，AI對于我們?nèi)A南廠商是個(gè)絕對的利好，傳統(tǒng)的IPC，NVR產(chǎn)品格局基本確定，AI的到來提供了更多的產(chǎn)品可能；

? ? ? ?其次，AI產(chǎn)品與傳統(tǒng)安防有完全不同的分別，它已經(jīng)由被動(dòng)防御變?yōu)橹鲃?dòng)使用，是直接面對用戶問題與剛需的產(chǎn)品；

? ? ? ?第三，每一次技術(shù)發(fā)展都拓展了產(chǎn)品的應(yīng)用，可以發(fā)展華南企業(yè)的創(chuàng)造力，創(chuàng)造出新的市場機(jī)遇。廠商應(yīng)該通過加大研發(fā)、關(guān)注客戶需求、了解國內(nèi)外市場行情等等方法抓住機(jī)遇。

巨龍是一家以智能視頻為核心的智能產(chǎn)品及智能系統(tǒng)解決方案提供商，公司面向全球提供安防行業(yè)解決方案、智能視頻類產(chǎn)品、智能大數(shù)據(jù)及互聯(lián)網(wǎng)智能設(shè)備和服務(wù)。

? ? ? ?在會(huì)議上，吳亮重點(diǎn)介紹了公司的四顆智能芯片，3516CV500、3516DV300、3519A、3559A，以及人臉抓拍模組、人臉識(shí)別網(wǎng)關(guān)、人臉比對模組，雙目活體門禁系列模組和人臉抓拍機(jī)芯。

EIOT大數(shù)據(jù)實(shí)驗(yàn)室首席技術(shù)官鮑鎮(zhèn)博士分享的主題是《城市能源互聯(lián)網(wǎng)——基于AI的社區(qū)和家庭能源管理平臺(tái)》，目前，城市能源方面存在近兩大問題，商區(qū)和社區(qū)能源管理系統(tǒng)缺失，以及環(huán)保和用電行為之間的鴻溝。鮑鎮(zhèn)博士介紹到，他們找到了三個(gè)切入點(diǎn)，電力供需側(cè)改革售電公司、能耗優(yōu)化類商業(yè)建筑和家電信息個(gè)人消費(fèi)者。

圖：EIOT大數(shù)據(jù)實(shí)驗(yàn)室首席技術(shù)官鮑鎮(zhèn)博士

鮑鎮(zhèn)表示，售電企業(yè)都在爭先恐后為客戶提供相關(guān)的電能計(jì)量服務(wù)，為開展自己的售電業(yè)務(wù)提供數(shù)據(jù)支持，但是硬件設(shè)計(jì)開發(fā)和安裝工程服務(wù)的成本過高，所以都在尋求低成本的解決方案；商業(yè)建筑目前采用傳統(tǒng)的入戶表計(jì)來監(jiān)測能耗，但是無法分解到各個(gè)回路和設(shè)備的能耗情況，導(dǎo)致公司管理者無法形成明確的能耗優(yōu)化意見；智能家居類產(chǎn)品門檻相對較低，行業(yè)已經(jīng)形成白熱化競爭的局面，個(gè)人消費(fèi)者反映每個(gè)設(shè)備都自成一體，是信息孤島，因而無法形成很好的數(shù)據(jù)生態(tài)和相應(yīng)服務(wù)。

鮑鎮(zhèn)還分享了他們的解決方案，怎么實(shí)現(xiàn)呢？通過低成本、多種形態(tài)、插件式、數(shù)據(jù)可視化的方法為社區(qū)和家庭用戶解決精細(xì)化能源數(shù)據(jù)采集和分析的功能-非侵入式負(fù)荷監(jiān)測。

? ? ? ? 技術(shù)原理是基于機(jī)器學(xué)習(xí)和電器機(jī)理知識(shí)，對單點(diǎn)（對應(yīng)到家庭電表和工業(yè)中的配電柜抽屜）能源數(shù)據(jù)進(jìn)行分解和識(shí)別，進(jìn)而得到單點(diǎn)下級(jí)的每個(gè)電器的精細(xì)化實(shí)時(shí)用電數(shù)據(jù)。這些數(shù)據(jù)可以用于售電公司做負(fù)荷預(yù)測，電網(wǎng)公司做需求側(cè)響應(yīng)，智能家居公司用于提升消費(fèi)者的家居生活體驗(yàn)。

該技術(shù)是通過檢測電流的暫態(tài)變化來發(fā)現(xiàn)相應(yīng)的電器功率變化事件，算法主要特點(diǎn)在于：加入了獨(dú)創(chuàng)的自學(xué)習(xí)標(biāo)簽識(shí)別系統(tǒng)，減少了傳統(tǒng)算法中的打標(biāo)簽99%的工作量；設(shè)計(jì)了多尺度驗(yàn)證算法和機(jī)制，從時(shí)間、相似度、發(fā)生頻率等角度提升非侵入式負(fù)荷監(jiān)測算法的信心度。

目前，中國約14億人，平均每3個(gè)人形成一個(gè)家庭，總的市場規(guī)模約4萬億+，北上廣深（用電需求相對旺盛）一線城市中的收入中上等家庭，有一定的消費(fèi)能力和環(huán)保意識(shí)，對新事物充滿好奇心的人群是主要的用戶群體，客戶主要集中在售電公司、地產(chǎn)公司和物業(yè)公司。

EIOT大數(shù)據(jù)實(shí)驗(yàn)室該項(xiàng)目的產(chǎn)品主要包含基本的硬件和軟件產(chǎn)品、基于云端的API服務(wù)和信息服務(wù)，包括為終端用戶提供基本的硬件和軟件產(chǎn)品；為中間服務(wù)商提供API服務(wù)，幫助客戶完成終端產(chǎn)品，通過按量付費(fèi)的形式收取服務(wù)費(fèi)。對終端用戶的數(shù)據(jù)進(jìn)行二次封裝，為中間服務(wù)商提供信息服務(wù)，并按使用時(shí)長、次數(shù)和規(guī)模收取服務(wù)費(fèi)。

本次論壇，上述六位專家的分別從各個(gè)領(lǐng)域做了精彩分享，但是關(guān)于大數(shù)據(jù)和AI技術(shù)應(yīng)用還存在很多問題和探索空間，未來<電子發(fā)燒友>將會(huì)持續(xù)為行業(yè)搭建更好的交流平臺(tái)，輸出更多有價(jià)值的內(nèi)容。