Arm NN

最近，Arm宣布推出神經網絡機器學習(ML) 軟件 Arm NN。這項關鍵性技術，可在基于 Arm 的高能效平臺上輕松構建和運行機器學習應用程序。

實際上，該軟件橋接了現有神經網絡框架（例如 TensorFlow 或 Caffe）與在嵌入式 Linux 平臺上運行的底層處理硬件（例如 CPU、GPU 或新型 Arm 機器學習處理器）。這樣，開發人員能夠繼續使用他們首選的框架和工具，經 Arm NN 無縫轉換結果后可在底層平臺上運行。

機器學習需要一個訓練階段，也就是學習階段（“這些是貓的圖片”），另外還需要一個推理階段，也就是應用所學的內容（“這是貓的圖片嗎？”）。訓練目前通常在服務器或類似設備上發生，而推理則更多地轉移到網絡邊緣，這正是新版本 Arm NN 的重點所在。

一切圍繞平臺

機器學習工作負載的特點是計算量大、需要大量存儲器帶寬，這正是移動設備和嵌入式設備面臨的最大挑戰之一。隨著運行機器學習的需求日益增長，對這些工作負載進行分區變得越來越重要，以便充分利用可用計算資源。軟件開發人員面臨的可能是很多不同的平臺，這就帶來一個現實問題：CPU 通常包含多個內核（在 Arm DynamIQ big.LITTLE 中，甚至還有多種內核類型），還要考慮 GPU，以及許多其他類型的專用處理器，包括 Arm 機器學習處理器，這些都是整體解決方案的一部分。Arm NN 這時就能派上用場。

下圖中可以看出，Arm NN 扮演了樞紐角色，既隱藏了底層硬件平臺的復雜性，同時讓開發人員能夠繼續使用他們的首選神經網絡框架。

Arm NN SDK 概覽（首次發布版本）

您可能已經注意到，Arm NN 的一個關鍵要求是Compute Library，它包含一系列低級別機器學習和計算機視覺函數，面向Arm Cortex-ACPU 和Arm Mali GPU。我們的目標是讓這個庫匯集針對這些函數的一流優化，近期的優化已經展示了顯著的性能提升 – 比同等 OpenCV 函數提高了 15 倍甚至更多。如果您是Cortex-MCPU 的用戶，現在還有一個機器學習原語庫 – 也就是近期發布的CMSIS-NN。

CMSIS-NN 是一系列高效神經網絡內核的集合，其開發目的是最大程度地提升神經網絡的性能，減少神經網絡在面向智能物聯網邊緣設備的 Arm Cortex-M 處理器內核上的內存占用。Arm開發這個庫的目的是全力提升這些資源受限的 Cortex CPU 上的神經網絡推理性能。借助基于 CMSIS-NN 內核的神經網絡推理，運行時/吞吐量和能效可提升大約 5 倍。

主要優勢

有了 Arm NN，開發人員可以即時獲得一些關鍵優勢：

更輕松地在嵌入式系統上運行 TensorFlow 和 Caffe

Compute Library 內部的一流優化函數，讓用戶輕松發揮底層平臺的強大性能

無論面向何種內核類型，編程模式都是相同的

現有軟件能夠自動利用新硬件特性

與 Compute Library 相同，Arm NN 也是作為開源軟件發布的，這意味著它能夠相對簡單地進行擴展，從而適應 Arm 合作伙伴的其他內核類型。

適用于 Android 的 Arm NN

在五月舉行的 Google I/O 年會上，Google 發布了針對 Android 的 TensorFlow Lite，預示著主要新型 API 開始支持在基于 Arm 的 Android 平臺上部署神經網絡。表面上，這與 Android 下的 Arm NN SDK 解決方案非常相似。使用 NNAPI 時，機器學習工作負載默認在 CPU 上運行，但硬件抽象層 (HAL) 機制也支持在其他類型的處理器或加速器上運行這些工作負載。Google 發布以上消息的同時，我們的 Arm NN 計劃也進展順利，這是為使用 Arm NN 的 Mali GPU 提供 HAL。今年晚些時候，我們還將為 Arm 機器學習處理器提供硬件抽象層。

Arm 對 Google NNAPI 的支持概覽

Arm NN 的未來發展

這只是 Arm NN 的第一步：我們還計劃添加其他高級神經網絡作為輸入，對 Arm NN 調試程序執行進一步的圖形級別優化，覆蓋其他類型的處理器或加速器……請密切關注今年的發展！