當我們考慮機器學習時，首先能夠想到的是，通過服務器集群搭建的大數據中心和云平臺，對于很多機器學習的應用來講，這是一個存在了很多年的標準搭建方式。但近些年來，隨著硬件能力的不斷提升、物聯網場景的出現以及成本的下降，大量的應用場景從云端轉移到了邊緣。在這樣的模式轉換中，隨著智能化越來越接近事件發生地而遠離云端，節點設備會變得更加自主化。這些變化導致了很多有趣的應用產生，例如無人機、ADAS輔助駕駛以及可移動的智能機器人，而且這僅僅是個開始。

在本文中，我們將在系統設計層面，綜合闡述如何考慮在邊緣部署人工智能。通常，一個比較典型的思路，可以歸納為對于任務的理解、算法的選擇，以及對于推理模型的訓練和部署。

目標：問題定義

架構：選擇正確的工具

應用的需求和限制是驅動帶有人工智能算法的最終產品標準的因素。這些需求和限制，與魯棒性、推理時間、硬件資源以及服務質量相關，這對于考慮邊緣方案的部署以及嵌入式平臺的選型至關重要。魯棒性代表了模型輸出的精確度，以及防止運算結果過度擬合的能力。一般來講，模型越復雜（深度和層級），數據集越豐富，魯棒性越好。

推理時間的需求完全取決于應用場景。對于有些場景，例如自動駕駛，考慮到功能安全因素，需要機器視覺系統的響應時間在毫秒級別，但對于測量值變化緩慢的傳感器融合系統來說，需求就沒有這樣苛刻。推理的速度取決于模型的復雜度，模型的層級越多，需要的計算就越多，從而導致更長的推理時間。這個問題可以通過選擇算力資源更為豐富的方案來規避，例如嵌入式GPU、DSP，以及帶有OpenCL內核的神經網絡加速器。

模型的內存占用是隨著神經元數量以及權重的增加而增加的，每個權重都需要作為數據存儲在內存中。為了減小模型占用的內存，以及解決一些硬件細節問題，可以將權重從浮點數或雙精度數轉換為整數進行存儲。服務的質量以及系統的可靠性取決于模型的部署。在云端為基礎的方案里，連接的需求使得系統的可靠性存在疑問，一旦服務器無法可靠連接，服務就無法獲取，決策也就無法正常處理。在這種情況下，邊緣部署就成了唯一可行的方案，例如自動駕駛汽車以及需要隔離的環境。基于機器學習的算法，本質上是概率系統，其輸出具有一定的不確定性，理解這一點很重要，但在許多情況下，AI系統所做出的預測精準度和可靠度，早已超過人類的判斷。至于系統設計是否需要90%乃至99%的概率，是由應用需求決定的。

最后，設計者應該根據解決方案的開發難度以及可擴展性的需要，來考慮采用何種硬件和軟件。舉例來說，在NVIDA Jetson這個AI應用嵌入式開發平臺上運行模型，軟件可以無縫運行，從而大大降低軟件開發成本。

Jetson AGX Xavier開發套件

數據 & 訓練：獲取正確的結果

訓練模型有很多種方法，簡要來說，分為監督學習、無監督學習以及增強學習。對于監督學習，首先數據集會被標注，就圖像分類而言，圖像和標簽是成對出現的。圖像通過模型的各層向前傳播，每層增加一點抽象，最終得到分類值;輸出的分類值與標簽進行比較，得到的誤差反向傳播到模型初始以更新權重。而對于無監督學習，數據集不會被標注，模型會開啟自我尋找模式。對于增強學習，電子游戲是個最好的應用用例，增強學習的目標是在與環境的交互過程中，通過一系列的后續行為，對環境的反饋作出響應，達成回報最大化，例如執行一系列從一個地方移動到另一個地方的連續控制決策。

部署和推理：尚未解決的挑戰

大多數的深度神經網絡會在大型的GPU 上完成訓練。當模型被用來進行推理時，例如通過神經網絡的正向傳播，以獲得對單個樣本的預測或者分類，可以使用的平臺有很多種。我們可以將用于推理的模型部署在微控制器為Cortex M、Cortex A的設備上，這些微控制器帶有GPU、神經網絡加速器、FPGA 或者專有ASIC，硬件的選型取決于應用的需要，而它們的區別在于運算能力、功耗以及成本。選擇方案時，最棘手的一點在于如何有效且簡易地部署模型。一般來說，模型訓練通常會在諸如Tensor Flow或者Caffe這樣的深度學習框架下完成，這些訓練好的模型必須轉變成在邊緣設備的推理引擎上能夠運行的格式。舉例來說，使用開放式神經網絡交換格式（ONNX），或者是在Cortex M 上使用的ARM CMSISNN文件格式。除此之外，模型還需要根據邊緣設備的特點進行進一步的優化，可以通過剪枝（刪除接近零的值）、量化（從float32移動到integer）或壓縮來優化權重。

模型在邊緣設備上的部署和運行，最終還是需要通過推理引擎來實現，這取決于設備供應商為OpenCV或者OpenCL等框架支撐所提供的目標處理器以及組件。令人遺憾的是，這個市場目前碎片化很嚴重，我們可以看到很多不同版本的SDK 以及工具，并沒有一個統一的標準來指導如何在邊緣節點上部署和推理。因此，業界對于類似于ONNX這樣的統一標準更感興趣，期待標準化的進一步演進。

責任編輯：Ct