根據技術專家的說法，是Carver Mead在Gordon Moore于1965年在Electronics Magazine發表了具有里程碑意義的文章“將更多的元件塞入集成電路”十年后，創造了“摩爾定律”一詞。在接下來的數十年里，該文章概述的規律改變了世界——即每兩年左右，半導體公司將能夠在單個半導體芯片上制造的晶體管數量翻一番。

晶體管的每兩年翻倍最顯著地帶來了計算能力的更快指數增長。除了從摩爾定律中獲得更多的晶體管之外，我們還獲得了更快，更便宜，更節能的晶體管。所有這些因素共同使我們能夠構建更快，更復雜，性能更高的計算設備。

到1974年，Robert Dennard觀察到，由于隨著工藝幾何尺寸的減小，密度，速度和能量效率的三倍提高，計算的功率效率將甚至快于晶體管數量。這種被稱為“ Dennard Scaling”的趨勢在我們身邊已經存在了大約三十年，而計算性能（更重要的是，功率，事實證明）推動了前所未有的指數級改進。

所有這些計算能力的改進都建立在John Von Neumann等人于1945年開發的馮·諾伊曼處理器體系結構的基礎上，在未完成的報告“ EDIMAC報告的初稿”中有記錄。具有諷刺意味的是，歷史上最令人印象深刻的技術革命是建立在一個半世紀前未完成的設計之上的。隨著摩爾定律時代數字計算領域的所有顯著進步，如今已有75年歷史的基本計算體系結構基本上保持不變。

馮·諾依曼架構僅僅是進行計算的最佳方法嗎？當然不是。用Winston Churchill的話來說，Von Neumann是除了其他所有架構之外，最糟糕的計算架構。VonNeumann的優點在于它的靈活性和面積效率。它可以處理幾乎任何任意復雜的應用，而無需處理器根據問題的大小來擴展晶體管的數量。

在過去，在將如此多的元件塞入集成電路之前，馮·諾依曼的架構效率非常重要。我們可以用很少的晶體管構建4位，8位或16位的馮·諾依曼處理器，并以可接受的速度運行大型應用。但是隨著摩爾定律的出現，晶體管正逐漸接近零成本。因此，由于可用晶體管的數量幾乎是無限的，因此用較少數量的晶體管構建處理器的價值就大大下降了。

同時，即使摩爾定律全力以赴，從每個先進節點提取的值也有所減少。Dennard Scaling在2005年左右結束，這迫使我們從建造更大/更快的馮·諾依曼處理器轉向制造“更多的”馮·諾依曼處理器。這場比賽使更多的內核擠滿了集成電路，Von Neumann到多核的可擴展性帶來了自己的局限性。

更讓人難過的是，摩爾定律并沒有繼續蒸蒸日上。最近幾個制程節點中的每一個節點實現的成本成倍增加，并且實際收益卻成比例地減少。這導致的結果是，即使從技術上講，我們應該能夠制造更多代的更密集的芯片，但是這樣做的成本/收益比卻使其吸引力越來越小。

現在，我們需要摩爾定律以外的其他驅動因素來保持技術進步的步伐。

顯然，作為單一的全部計算架構，馮·諾依曼也到了將要壽終正寢的時候。最近的AI革命加速了Von Neumann替代產品的開發。AI，特別是用卷積神經網絡完成的AI，是一個難以置信的計算密集型計算，這是個特別不適用于Von Neumann的應用。這就使我們開始從大型的同類計算元素陣列轉移到了包括馮·諾依曼方法和非馮·諾依曼方法在內的異構元素的復雜配置。

神經形態架構是最有前途的非馮·諾依曼人工智能方法之一。 在1980年代后期，Carver Mead（是的，據說是“摩爾定律”的創造者是同一個人）觀察到，在當時的發展路線上，馮·諾依曼處理器所消耗的能量比人腦進行相同計算所用的能量高出數百萬倍。他的理論是，可以通過模擬人腦的神經元結構來構建更有效的計算電路。Mead用晶體管電流模擬了神經元離子流，并基于該思想提出了后來被稱為神經形態計算的方法。

當時，神經形態計算可視為一種模擬事件，神經元以不斷變化的電壓或電流相互觸發。但是，世界在優化數字設計的二進制世界的道路上堅定不移。模擬電路無法像數字指數那樣進行縮放，因此神經形態計算的發展超出了摩爾定律的主流軌道。

但是，現在情況發生了變化。

從長遠來看，我們看到大多數模擬功能都包含在數字逼近中，神經形態處理器已通過所謂的“尖峰神經網絡”（SNN）實現，該神經網絡依賴于每個神經元的單個峰值來激活神經元下方的神經元鏈。這些網絡是完全異步的，激活而不是發送值取決于尖峰的時間。使用這種技術，利用了當前最先進的批量CMOS數字技術，實現了神經形態處理器。這意味著神經形態結構最終可以從摩爾定律中獲得收益。結果，已經構建并測試了幾種實用的神經形態處理器，其結果令人印象深刻且令人鼓舞。

我們大約在兩年前報道的一個示例是Brainchip的Akida神經形態處理器，該開發板已于2020年12月上市。Brainchip聲稱其設備的功耗比傳統的基于CNN的解決方案低90％至99％。據我們所知，這是進入廣泛的商業市場的首批神經形態技術之一，潛在的應用前景是巨大的。

Brainchip提供了其技術的IP版本和SoC以及在硅片中的完整實現。幾乎所有可以利用“邊緣”人工智能的系統都可以從此類節能中受益，并且通常可以在做與不做邊緣人工智能之間做出區別。

同樣在2020年12月，英特爾提供了其名為Loihi的神經形態研究測試芯片以及它們的“英特爾神經形態研究社區（INRC）”的最新信息，這兩者也在兩年前宣布。Loihi在包括語音命令識別，手勢識別，圖像檢索，優化和搜索以及機器人技術在內的廣泛應用中，已將能源效率進行了基準測試，其能耗比CPU和GPU高30-1，000倍，并且快100倍。同樣重要的是，與基于CNN的系統形成鮮明對比的是，該體系結構使自己能夠進行快速且持續的學習，而基于CNN的系統往往會經歷緊張的訓練階段，該階段會創建靜態的推理模型。英特爾表示，他們正在尋求將能效提高1000倍，將性能提高100倍，

并非所有問題都會轉向神經形態，很適合今天的深度學習技術的算法是顯而易見的贏家。英特爾還在評估“受神經科學啟發”的算法，該算法可模擬大腦中發現的過程。最后，他們正在研究“數學公式化”的問題。

在第一類中，從當今的深度神經網絡（DNN）轉換而來的網絡可以轉換為神經形態芯片可用的格式。另外，可以使用神經形態處理器本身創建“直接訓練”的網絡。最后，盡管在神經形態處理器中需要進行全局通信，但在神經形態處理器中可以模擬CNN中常見的“反向傳播”。

Loihi是研究芯片，并非為生產而設計。它是一款采用英特爾14納米CMOS工藝制造的20億晶體管晶體管芯片。Loihi包含一個完全異步的“神經形態多核網格，它支持廣泛的稀疏，分層和遞歸神經網絡拓撲，每個神經元都能夠與數千個其他神經元進行通信。”

這些核心中的每一個都包括一個學習引擎，該引擎在操作期間會調整參數。該芯片包含130，000個神經元和1.3億個突觸，分為128個神經形態核心。該芯片包括用于SNN芯片培訓的微碼學習引擎。Loihi芯片已經集成到板和盒中，在768個芯片中包含多達1億個神經元。

現在，我們處于許多趨勢的交匯處，這些趨勢可能會形成處理器架構革命的完美風暴。首先，神經形態處理器處于商業可行性的拐點處，它們為某些問題帶來了相當于10個摩爾定律節點（20年）的進步。

其次，傳統的DNN正在迅速發展，并且產生了與神經形態處理器中發現的相關的和相似的架構創新，這表明可能在未來的“兩全其美”的架構中融合兩種架構領域的特征。

第三，摩爾定律即將結束，這將更多的重點，才能和金錢投入到建筑方法的發展中，以推動未來的技術進步。

第四，隨著這些神經形態處理器中的第一個獲得商業關注并創造出投資，開發，完善和部署的良性循環，這將是有趣的。可能在幾年內，神經形態架構（或類似的衍生技術）將在我們的計算基礎架構中扮演重要角色，并迅速發展到今天只能想象的最前沿的新應用程序。
編輯：hfy