MAX78000本質上是一個ARM Cortex-M4F微控制器,周邊有很多硬件,其中包括Maxim設計的神經網絡(CNN)加速器(圖1)。這種機器學習(ML)支持使芯片能夠實時處理諸如識別關鍵字甚至人臉識別等,而不會浪費功率預算。
1.MAX78000包括Cortex-M4F和RISC-V內核以及CNN加速器。
該芯片還包括一個引人注意的是RISC-V內核,但是,由于其太新了,因此Cortex-M4F是主要處理器。甚至CNN的支持都還處于beta階段之外,但這些都是本文的重點。
MAX78000具有通常的微控制器外設功能,包括一系列串行端口,定時器和并行/串行接口,例如I2S。它甚至具有并行攝像頭接口,在模擬外設中有一個8通道10位sigma-delta ADC,也包括四個比較器。
該芯片具有512kB的閃存以及128kB的SRAM和引導ROM,該引導ROM允許更復雜的引導過程,例如安全引導支持。有片上密鑰存儲以及CRC和AES硬件支持,未來將獲得CNN支持。基于Github的文檔可一覽無余。
開發工具是基于Eclipse的免費開發工具,而Eclipse是其他平臺(例如德州儀器的Code Composer Studio和Silicon Labs的Simplicity Studio)的基礎。 Maxim并沒有做太多的定制工作,但是有足夠的便利來使用諸如MAX78000之類的硬件,同時使第三方插件和工具的使用變得容易,這在處理云或物聯網開發環境時非常方便。默認安裝包括示例和教程,可輕松測試CNN硬件和其他外圍設備。
MAX78000開發板具有兩個LCD顯示器。較大的3.5英寸TFT觸摸顯示屏適用于處理器,而第二個較小的顯示屏則提供電源管理信息。該芯片沒有內置顯示控制器,使用串行接口與較大的顯示器配合使用。功率跟蹤支持非常完善。
開發板帶有一個16 MB的QSPI閃存芯片,可以方便地存儲圖像數據。此外,閃存芯片的USB橋接器允許更快,更輕松地下載數據。
該開發板還添加了一些有用的設備,例如數字麥克風,3D加速度計和3D陀螺儀。幾個按鈕和LED完善了外圍設備,支持JTAG。
如前所述,這次沒有使用RISC-V內核,而是采用為Cortex-M4F生成C代碼以設置CNN硬件。 CNN硬件旨在處理單個模型,但是可以快速更換新模型。
與大多數機器學習硬件一樣,大多數程序員都傾向于隱藏底層硬件,從而提供了更多的黑盒操作,您可以在其中設置盒子并將其數據饋入另一端。如果可用模型,這將很好地工作;這是用不同的信息或使用經過訓練的模型來訓練。開發和訓練新模型時面臨挑戰,這是我在此將避免討論的問題。
我確實嘗試了Maxim提供的兩種模型,包括關鍵字搜索和面部識別(FaceID)應用程序。 Keyword Spotting應用程序本質上是語音識別系統,可用于偵聽關鍵字以啟動基于云的服務,這是大多數基于Alexa的語音系統的工作方式,因為云在識別關鍵字后會處理所有內容。
另一方面,能夠識別許多不同的關鍵字使構建基于語音的命令系統成為可能,例如許多汽車導航系統中使用的命令系統。Cortex-M4F會處理輸入,并進行一些調整以向CNN加速器提供合適的輸入(圖2)。檢測到的類輸出指定識別哪個關鍵字(如果有)。然后,應用程序可以利用此信息。
2.在將信息移交給CNN加速器之前,Cortex-M4F會處理初始音頻輸入流。
FaceID系統突出顯示了MAX78000的攝像機支持(圖3)。這可用于識別人臉或識別在裝配線上移動的特定零件。樣品應用程序可以使用固定輸入(如圖所示)或從攝像機進行操作。
3.FaceID應用程序強調了CNN實時處理圖像的能力。
使用默認值會變得很容易。Maxim提供所有示例代碼和過程。這些可以稍作修改,但是重新訓練模型是一項涉及更多的工作,盡管Maxim的文檔確實涵蓋了這一工作。這些示例概述了需要做什么以及需要更改哪些內容以定制解決方案。
將模型和應用程序更改為電動機振動監控系統之類的工作將是一項艱巨的工作,需要一種新的模型,但是該芯片很可能能夠處理。它將需要更多的機器學習和CNN支持。
該工具集支持TensorFlow和PyTorch等平臺的模型(圖4)。這很有用,因為訓練不是由芯片處理的,而是在PC或云服務器等平臺上進行的。同樣,可以對模型進行完善和在高端硬件上進行測試以驗證模型,然后可以對其進行修剪以適合MAX78000。
4.PyTorch只是MAX78000處理的框架之一。訓練不是在微型計算機上進行的。 Maxim的工具將模型轉換為驅動CNN硬件的代碼。
此時,CNN加速器文檔以及RISC-V支持都很少。Maxim的CNN模型編譯器可將C代碼導入到Eclipse IDE中。調試常規應用程序代碼與通過JTAG進行遠程調試。
Maxim還提供MAX78000FTHR,它是簡化評估板(圖5),它沒有顯示器或其他外圍硬件,但大多數I / O是裸露的。單是開發板僅有25美元。批量購買時,該芯片的單價約為15美元。
5.簡化評估板MAX78000FTHR
MAX78000的使用非常有趣。這是一個支持邊緣ML應用程序的絕佳平臺。但是,請注意,盡管這是一種非常低功耗的解決方案,但它與低端Nvidia Jetson Nano都不一樣。檢驗電源跟蹤支持很有趣,因為低功耗可能是許多MAX78000應用中的關鍵因素,尤其是基于電池的解決方案。
編輯:hfy
-
Maxim
+關注
關注
8文章
859瀏覽量
87273 -
神經網絡
+關注
關注
42文章
4774瀏覽量
100909 -
機器學習
+關注
關注
66文章
8425瀏覽量
132774
發布評論請先 登錄
相關推薦
評論