人工神經網絡學習活動的高能耗是廣泛使用人工智能(AI)的最大障礙之一,特別是在移動應用中??梢詮挠嘘P人腦的知識中找到解決該問題的一種方法。
盡管它具有超級計算機的計算能力,但僅需20瓦,僅相當于超級計算機的能量的百萬分之一。
原因之一是大腦神經元之間的信息有效傳遞。神經元向其他神經元發送短的電脈沖(尖峰),但為了節省能量,僅在絕對必要的時候才會發生。
基于事件的信息處理
由TU Graz的兩位計算機科學家Wolfgang Maass和Robert Legenstein領導的工作組在開發新的機器學習算法e-prop(e-propagation)時采用了這一原理。
也是歐洲燈塔計劃“人腦計劃”的一部分的理論計算機科學研究所的研究人員使用其模型中的峰值來實現人工神經網絡中神經元之間的通信。
尖峰僅在網絡中的信息處理需要它們時才變為活動狀態。對于這種不太活躍的網絡,學習是一個特殊的挑戰,因為需要更長的觀察時間才能確定哪些神經元連接可以改善網絡性能。
先前的方法學習成功率太低或需要巨大的存儲空間。現在,E-prop通過從大腦復制的分散方法解決了這個問題,其中每個神經元在所謂的e-trace(合格跟蹤)中記錄何時使用其連接。該方法與最佳和最詳盡的其他已知學習方法一樣強大。詳細信息現已發表在科學雜志《自然通訊》上。
在線而不是離線
使用當前使用的許多機器學習技術,所有網絡活動都集中存儲和脫機存儲,以便跟蹤每幾個步驟在計算過程中如何使用連接。
但是,這需要在內存和處理器之間進行恒定的數據傳輸,這是當前AI實現過多能耗的主要原因之一。另一方面,e-prop可以完全在線運行,即使在實際操作中也不需要單獨的內存,從而使學習更加節能。
神經形態硬件的驅動力
Maass和Legenstein希望e-prop將推動新一代移動學習計算系統的開發,該系統不再需要進行編程,而是根據人腦模型進行學習,從而適應不斷變化的需求。
目標是不再讓這些計算系統專門通過云來進行能源密集型學習,而是將大部分學習能力有效地集成到移動硬件組件中,從而節省能源
-
神經網絡
+關注
關注
42文章
4779瀏覽量
101052 -
超級計算機
+關注
關注
2文章
464瀏覽量
41986 -
人工智能
+關注
關注
1794文章
47642瀏覽量
239674
發布評論請先 登錄
相關推薦
評論