自計算機問世以來,運算效能與能耗消耗兩大議題始終困擾著計算產(chǎn)業(yè)。在人工智能崛起的背景下,全球各地科研機構及相關公司積極探索提高處理器算力的新方法,神經(jīng)擬態(tài)處理器即是一種創(chuàng)新嘗試。
如何模仿大腦思維?
神經(jīng)擬態(tài)計算,即模擬和探索人腦神經(jīng)網(wǎng)絡及其運作規(guī)律的領域,我們將之稱為類腦計算或神經(jīng)形態(tài)計算。數(shù)十年來,科學家們致力于復刻生物神經(jīng)元的多功能運算模式,以期研發(fā)出高效能且低功耗的機器學習系統(tǒng)。
歷經(jīng)多年探索,業(yè)界已形成三種神經(jīng)擬態(tài)處理器的實現(xiàn)路徑。一為數(shù)字CMOS型,通過邏輯門電路模擬生物單元行為;二為數(shù)模混合的CMOS型,借助亞閾值模擬電路呈現(xiàn)生物神經(jīng)元特性;前兩者均基于硅基晶體管。第三種則是研發(fā)新型器件,如憶阻器、相變存儲器、鐵電器件、磁隧道結、離子柵控晶體管等,并采用非硅基材料。
然而,目前大部分研究尚未實現(xiàn)商業(yè)化生產(chǎn)。英特爾作為眾多研究機構中的佼佼者,選擇了第一種實現(xiàn)方式——用晶體管模擬人類神經(jīng)元功能。其中,如何讓處理器達到類似人腦的節(jié)能效果,便是他們的重要研究課題。
德國海德堡大學物理學家卡爾海因茨·邁耶(Karlheinz Meier)指出,相比計算機,人腦具有三大優(yōu)勢:低能耗,僅需約20瓦特的能量。
今年四月,英特爾推出神經(jīng)擬態(tài)系統(tǒng)Hala Point。據(jù)稱,該系統(tǒng)在處理AI推理負載和優(yōu)化問題方面,速度較常規(guī)CPU和GPU架構快50倍,而能耗卻降低了100倍。近日,英特爾中國研究院院長宋繼強向中國電子報記者詳解了該系統(tǒng)模擬人腦節(jié)能的實現(xiàn)原理。他首先解釋了市場上常見芯片系統(tǒng)的頻率特征:通常提及的CPU主頻,如5GHz,代表同步時鐘的頻率,即芯片內所有邏輯門、存儲均以此頻率運行,或在此基礎上進行降級。例如,總線頻率可能低于CPU主頻,I/O接口頻率更低,但總體來看,同一芯片內所有組件均受同步時鐘驅動,從而實現(xiàn)同時工作。因此,各部件能耗也同步進行。
宋繼強表示,英特爾的神經(jīng)擬態(tài)計算無需同步時鐘,取代之的是“時間步”概念——每當任務結束,“神經(jīng)元”便依據(jù)預定順序逐步推進。每個時間步里,信號均由一個神經(jīng)元傳至下一個,以此方式進行傳播和擴散。盡管神經(jīng)擬態(tài)計算要求系統(tǒng)在時間步級別保持同步,但并非所有神經(jīng)元需在所有工作序列中完全同步,允許有些任務快速處理,有些則緩慢處理。這與人類大腦類似,部分神經(jīng)元負責處理嗅覺信息,同時另一部分則處理視覺信息。因此,在神經(jīng)擬態(tài)計算系統(tǒng)中,有任務執(zhí)行的路徑會消耗電力,其余路徑則處于休眠狀態(tài)。即使是大規(guī)模的神經(jīng)擬態(tài)集群,其運行時神經(jīng)元也僅進行少量并行運算。
該計算系統(tǒng)另一節(jié)能策略在于其存算一體的結構。當前市場上計算系統(tǒng)的能源消耗主要集中于計算和數(shù)據(jù)傳輸兩個方面,而神經(jīng)擬態(tài)計算系統(tǒng)通過實現(xiàn)存算一體,成功規(guī)避了傳統(tǒng)核內外架構在處理大量數(shù)據(jù)傳輸時產(chǎn)生的能量損失。
節(jié)能與否,取決于具體情境
低能耗被視為神經(jīng)擬態(tài)處理器的天然架構優(yōu)勢。早在2020年,宋繼強就曾公開宣稱:神經(jīng)擬態(tài)計算在算法及芯片設計上,可以千分之一以內的功耗完成同等效果的模型訓練。浙江大學的唐華錦教授亦認同神經(jīng)擬態(tài)芯片為環(huán)保型芯片,因其體積小、功耗低,符合生物進化的根本優(yōu)勢。
然而,根據(jù)Hala Point最新實踐成果,該架構處理器的節(jié)能效果與其使用情境密切相關。宋繼強指出,現(xiàn)階段發(fā)現(xiàn)該系統(tǒng)在處理物流調度數(shù)據(jù)中心的大規(guī)模優(yōu)化任務時能效表現(xiàn)最佳,相較于CPU+GPU組合方案節(jié)能高達3000倍。
“但這并非指數(shù)據(jù)中心所有工作負載,僅針對個別項目。”他補充道,“我們正努力尋找該系統(tǒng)適用的場景,若賦予其不適宜的任務,能耗或高于原有處理系統(tǒng)。”
至于HalaPoint能否解決當前大模型訓練中的高能耗問題,宋繼強回應稱:該系統(tǒng)設計初衷并非專為大模型服務,故不適合大規(guī)模數(shù)據(jù)輸入。
ResNet50網(wǎng)絡(殘差網(wǎng)絡的一種)是驗證Hala Point節(jié)能效果的典型場景之一。在此類應用中,經(jīng)優(yōu)化的Hala Point在達到相同性能前提下,能耗可降至原有方案的百分之一以下。對于某些特定深度的神經(jīng)網(wǎng)絡,如視覺識別類應用,通過在脈沖神經(jīng)網(wǎng)絡上進行適當調整,結合硬件層面的適配,同樣有助于降低能耗。
總的來說,該系統(tǒng)在稀疏性局部并發(fā)型應用中表現(xiàn)更為出色。目前,市面上大部分神經(jīng)擬態(tài)處理器主要應用于機器人、無人機等領域。宋繼強透露,HalaPoint約有一半的應用涉及機器人、操控、多模態(tài)視覺等方面。
-
處理器
+關注
關注
68文章
19348瀏覽量
230260 -
英特爾
+關注
關注
61文章
9984瀏覽量
171952 -
神經(jīng)
+關注
關注
0文章
46瀏覽量
12530
發(fā)布評論請先 登錄
相關推薦
評論