當 TinyML 小組最近召開成立大會時，成員必須解決一些基本問題，首先是：什么是 TinyML？

TinyML 是一個工程師社區，專注于如何在超低功耗系統中最好地實施機器學習 (ML)。他們的第一次每月會議致力于定義問題。機器學習是否可以用于微控制器等低功耗設備？是否需要專業的超低功耗機器學習處理器？

Qualcomm AI Research 的 Evgeni Gousev 將 TinyML 定義為消耗 1mW 或以下的機器學習 (ML) 方法。Gousev 表示，1mW 是智能手機中永遠在線應用的“神奇數字”。

“有很多關于云 ML 的討論，而智能手機級別的 ML 變得越來越復雜，”他說。“但如果你查看數據，90% 的數據都在現實世界中。您如何連接所有這些相機、IMU 和其他傳感器并在該級別進行 ML？”

“微型機器學習將變得龐大，迫切需要推動微型機器學習的整個生態系統，包括應用程序、軟件、工具、算法、硬件、ASIC、設備、晶圓廠和其他一切，”Gousev 說.

谷歌工程師 Nat Jefferies 出席首屆 TinyML 聚會（圖片：TinyML）

TensorFlow 精簡版

谷歌工程師 Daniel Situnayake 介紹了 TensorFlow Lite 的概述，這是谷歌 TensorFlow 框架的一個版本，專為包括微控制器在內的邊緣設備而設計。

“TensorFlow Lite 一直以手機為目標，但我們很高興能在更小的設備上運行它，”他說。

在 TensorFlow 中構建模型后，工程師可以通過 Tensor Flow Lite 轉換器運行它，該轉換器“使其更小并執行量化之類的操作，這使您可以將模型的大小和精度降低到合適的比例在你的目標設備上，”他說。

Situnayake 描述了一種可用于提高電源效率的技術，該技術涉及將模型鏈接在一起。

“想象一個分類器的級聯模型，其中你有一個非常低功率的模型，幾乎不使用任何功率來檢測是否有聲音發生，然后另一個模型需要更多的能量來運行，它會判斷它是否是人類語音，”他解釋道。“然后，只有在滿足這些條件時才會喚醒一個更深層次的網絡，它會使用更多的電力和資源。通過將這些鏈接在一起，您只需在需要時喚醒[能源密集型]，因此您可以大大節省能源效率。”

Nat Jefferies 是 Google 的“微控制器 TensorFlow Lite”團隊的工程師，他描述了現代消費電子產品對能源消耗的嚴格要求的趨勢，盡管具有復雜的功能和復雜的傳感器系統。這些小工具可能使用需要持續數月或數年的電池運行，或者使用能量收集。

“我們認為最好的解決方案是 Tiny ML——在微控制器上進行深度學習，”他說。“這使我們能夠進行 CPU 周期和傳感器讀取，這 [不消耗太多功率]，而不是將所有信息發送到芯片外...... TinyML 可用于將傳感器數據壓縮成幾個字節，你然后可以發送……只需一小部分功率，”他說。

Jefferies 說，最近在谷歌挑戰中，參賽者開發了 250kbyte 的模型來進行人員檢測，收到了許多令人印象深刻的提交，并“驗證了我們所做的事情是有意義的”。

“目前，我們能夠將 TensorFlow 模型縮小到可以將它們安裝在微控制器上的程度，這就是為什么現在是進入這一領域的絕佳時機，”他說。“我們很高興能夠啟動這個過程。”

谷歌在微控制器上的 TensorFlow Lite 路線圖包括開源谷歌的一些演示、與芯片供應商合作優化內核、優化 TensorFlow Lite 的內存使用以在相同的設備上運行更復雜的模型，以及支持更多的開發平臺（SparkFun Edge 是唯一的到目前為止支持的板，但 Arduino 和 Mbed 板支持即將推出）。

專業設備
為機器學習提供專業低功耗應用處理器案例的是 GreenWaves Technologies 業務開發副總裁 Martin Croome。Croome 同意業界關于如何進行超低功耗機器學習的討論遲到了。

“我們迫切需要更多地關注這一領域，無論是從算法的角度還是從我們的[硬件]世界，”他說。

GreenWaves 開發了一款 RISC-V 應用處理器 GAP8，該處理器專注于邊緣設備的推理，功耗為毫瓦，并提供超低待機電流。該公司的目標是電池供電的設備以及使用能量收集的設備（在我們之前的文章中了解有關 GreenWaves 芯片如何工作的更多信息）。

多種技術用于降低功耗。這包括并行化，但不是為了加快速度；使用 8 個內核以允許較慢的時鐘速度，這允許內核電壓下降，從而節省能源（實際上，時鐘頻率是動態調整的，取決于工作負載）。

該芯片面向卷積神經網絡 (CNN)，硬件加速器在單個時鐘周期內對 16 位數據執行 5×5 卷積（不包括回寫）。顯式內存管理依賴于廣泛用于圖像處理的 CNN 的性質；圖像傳感器是固定大小的，推理需要相同數量的權重，結果總是相同的大小。因此，一個工具可以在編譯時為所有數據移動生成代碼。

Croome 承認，足夠專業化以有效處理 ML 工作負載，同時保持足夠的靈活性以響應技術進步是一個棘手的平衡。

“人工智能的范圍正在以令人難以置信的速度向前發展。今天關于如何做事的好主意可能不是明天的好主意，”克魯姆說。“如果我們過于專業化，我們將非常擅長加速每個人去年所做的事情，這對公司不利。因此，我們試圖平衡靈活性、可編程性和加速之間的差異。”

克魯姆說，GreenWaves 的芯片已經打樣一年，將于本月開始生產，并將在第三季度末向客戶批量發貨。

TinyML 聚會于每個月的最后一個星期四在灣區舉行，向來自工業界和學術界的與會者開放。

審核編輯 黃昊宇