人工神經網絡是模擬人腦神經活動的重要模式識別工具,受到了眾多科學家和學者的關注。然而,近年來DNN的改進與優化工作主要集中于網絡結構和損失函數的設計,神經元模型的發展一直非常有限。神經生物學和認知神經科學的研究表明,神經元的學習能力是生物神經系統完成學習和記憶任務的重要基礎,這些機理可促使我們在神經元設計和優化方面進一步提高DNN的性能。
受生物認知機制的啟發,中國科學院半導體研究所高速電路與神經網絡實驗室李衛軍研究員團隊設計了一種具有高度柔性與可塑性的超香腸覆蓋式神經元模型(HSCF neuron)(如圖1所示)。
?圖1.超香腸覆蓋式神經元模型及分類策略可視化表示
研究團隊定義了一種新的交叉熵和體積覆蓋率損失函數,該損失函數可最大限度地壓縮超香腸的體積,從而確保樣本的類內緊湊性。研究團隊引入了一種分裂迭代方法,將每個神經元模型視為一個弱分類器,并迭代增加弱分類器的數量,該迭代方法可自適應地確定HSCF神經元的最優數量,形成了端到端的學習框架(如圖2所示)。
圖2.基于超香腸覆蓋式神經元模型的網絡結構示意圖
最后,研究團隊在模式識別領域的八個經典數據集上進行的對比實驗和消融實驗證明了該方法的有效性。超香腸覆蓋式神經元模型可以應用于經典的DNN中以解決多種模式識別問題,具有廣泛的應用與學術價值;此外,所提出的方法也證明了利用神經元可塑性增強DNN性能的可行性,為DNN的進一步發展提供了新的視角。
該研究成果近日以“Hyper-sausage coverage function neuron model and learning algorithm for image classification”為題發表于模式識別領域TOP期刊《Pattern Recognition》(136 (109216), 2023), 文章發表后相繼入選ESI熱點與ESI高倍引論文,并入選期刊2023年Editors' Choice Paper。論文第一作者為半導體所寧欣副研究員,通訊作者為李衛軍研究員。本工作得到國家自然科學基金委項目的支持。
審核編輯:湯梓紅
-
半導體
+關注
關注
334文章
27502瀏覽量
219729 -
人工神經網絡
+關注
關注
1文章
119瀏覽量
14644 -
模型
+關注
關注
1文章
3261瀏覽量
48914
原文標題:半導體所在仿生覆蓋式神經元模型及學習方法研究方面取得進展
文章出處:【微信號:bdtdsj,微信公眾號:中科院半導體所】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論