機器到底可以有多智能?在智能化的這條路上,我們已經走過了漫長的幾十年,Siri和Alexa語音助手、圖像識別應用、甚至推薦引擎,其發展歷程告訴我們,前路漫漫,其修遠兮。人類已經可以利用強大的計算機性能以及大量良好標記的數據來執行醫療診斷這樣的深度學習任務,這是驚人的進步。
但是,我們還需要什么?
人類對AI的追求遠遠超越了數據科學的范疇。當健康出現異常時,我們希望可穿戴生物傳感器系統能夠立即發出警告;在最惡劣的駕駛條件下,我們希望自動駕駛汽車能夠實時做出反應;我們還希望機器人能以最小的角度轉向。怎樣才能實現這些呢?
我們的移動設備現在看起來似乎勉強能夠理解我們,但實際上并不能。他們只是簡單地將我們的聲音轉換和解碼成文字,然后發出請求,進而轉化為動作或答案。這只是一個計算密集的過程。
2013年曾有一個預測:人們每天花3分鐘時間使用語音識別進行語音搜索,將使數據中心的計算需求增加一倍。利用傳統CPU實現該功能非常昂貴,因此,谷歌的Norman Jouppi和他的同事共同開發了張量處理器(TPU),該處理器重點優化矩陣乘法硬件,有望將神經網絡查詢的能效提高95%。
這些處理器在服務器應用中發揮了很大的作用,但由于這種方法是將所有內存和處理集中在數據中心,因而對通信基礎架構極其依賴,同時還需要進行信息交流,其中很多是無關信息,浪費了時間和能量。
隨著邊緣計算時代的來臨,如何才能滿足移動和非聯網獨立設備應用對速度、功率、面積和重量的要求呢?
選擇性復制生物學
機器智能所采用的神經網絡是受生物學的啟發而建立起來的。因此,神經擬態工程師盡量模仿同樣的生物機理,以便創建的硬件能夠更好地運行神經網絡。這種方法為工程師們提供了多種選擇。
神經擬態工程學的目標是從生物學中汲取盡可能多的教訓,以實現跟大腦一樣的低功耗和強大功能。在實現神經處理、存儲和通信時,工程師的設計選擇
將決定人工大腦執行任務的效率。
一種策略是不再將芯片架構劃分為處理器和存儲器,而是將其分解為同時執行兩種功能的神經元。
其次,優先選擇大型多對多神經元連接方式,因為它使神經元網絡的功能更強。采用能保持輸入信號(例如圖像)幾何信息的傳感器-處理器管道會有所幫助,因為它們在處理過程中允許相鄰神經元進行有效的互動,如同人類的視網膜一樣。將信號值保持在模擬域中也有好處,這樣所有內容都可以同時處理,而不用分解為不同比特位的復雜動作。
最后,將通信時間與神經行為而非任意的時鐘關聯起來,這意味著信號本身包含更多的信息:那些同時到達的類腦尖峰信號通常與同一事件相關。
這就是為什么神經擬態工程或計算這個術語有點難懂的原因。這個術語是加州理工學院教授Carver Mead于20世紀80年代后期創造的。在隨后的幾十年中,Mead及其他人的項目尤其重視模擬計算帶來的好處。例如在一個復制了一組蠅復眼運動檢測器電路的系統中,多個接收器檢測到模擬信號,然后通過近鄰互動傳播到側面。這種系統具有極高的速率和極低的功耗(90年代后期Reid Harrison證實其功率僅為幾微瓦),充分顯示出同時保持信號幾何信息和模擬處理能力的好處。
“純”神經擬態系統的另一個特征是頻繁使用地址-事件表達(AER)。這種通信系統具有傳統網絡的許多優點,同時還提供多對多通信,保持了尖峰時序。
使用AER,一個神經元會根據其學習、行為和剛收到的輸入信息,在需要時隨時發出一個尖峰信號。它將信號傳輸給網絡中的所有其他神經元,但只有應該接收尖峰信號的神經元才可以接收,其他神經元會忽略該信號。這種網絡之所以與眾不同,是因為兩個尖峰信號之間相隔時間較長,因此,只有差不多同時到達的來自不同神經元的尖峰信號才被視為相關。
每個神經元都使用尖峰進行交流,無需與成百上千的其他神經元直接相連。地址-事件表達是保持尖峰時序的一種方法。只要出現尖峰的可能性足夠低,使同時到達編碼器的尖峰之間不存在競爭,這種方法就有效。
許多神經擬態系統都使用AER,特別是法國的Prophesee公司和瑞士的aiCTX(AI cortex)公司,他們專注于研究感應處理。這種方法既靈巧又實用,其優點在于神經元之間不需要進行硬連接,輸入信號信息可以簡單地實時通過處理器,無關信息將被丟棄,剩下的信息將在神經管道中進一步處理。
權衡利弊與取舍
雖然“典型的”神經擬態技術極具吸引力,但也有一些缺點,比如,要提高功率和速度就很不容易。數字電子器件比模擬器件更耗電,因為數字器件在不停地糾錯:強行將信號變為1或0。使用模擬電路則不會出現這種情況,所以因溫度的變化、器件的不同以及其他因素引起的誤差和漂移不會消失。產生的結果可能不是錯誤,而是偏移或損壞了。
電子器件的制造過程也遠說不上完美,這讓事情變得更加糟糕。慶幸的是,電路是可以測試的,因此對于數字技術而言,問題沒那么嚴重。如果數字器件不能通過測試,可以將它們扔掉。
而在一個模擬系統中表現完美的一組神經權重,在另一個系統中卻可能表現很糟。如果你想集中學習,然后將這一行為復制到許多不同的機器中,需要付出一定的代價——可能是可靠性降低,更可能是必須采用冗余設計來克服這些問題。
幸運的是,這一障礙并不是無法逾越的,但在我們研發憶阻器等新興技術時還是值得注意的。憶阻器這種精巧的器件是可以嵌入核心神經電路的存儲器,因此可用于神經網絡。其優點是能使模擬神經元變得更小,功耗更低。
另一種方法是,在遵循自然構造(尤其是分布式)和相互連接的神經元來實現結構化設計時,可以最小化甚至取消模擬電路,根據實際需要決定神經擬態的程度。
神經擬態和非神經擬態界線模糊,需要工程師根據具體的應用和成功的標準來進行權衡。如果重復性很重要而且無需考慮功率,則應選擇較少神經擬態的方案。如果速度、功率、面積和重量是主要考量因素,而且更易接受模糊行為,則神經擬態計算更加可行。
例如,IBM的TrueNorth雖然是數字器件,但功耗卻非常低,因為邏輯器件可以采用納米工藝來制造。而在如此小的尺寸下,很難實現模擬電路。
英特爾的Loihi芯片離模擬更近一步,因為它是異步的:每個神經元都可以按自己的速率觸發。同步則是通過一組相鄰神經元的交互產生的,只有在其他神經元完成一個時間步長或時鐘驅動操作之后,同步過程才開始。
良性循環
到這里,模擬神經擬態系統似乎走進了死胡同,但事實并非如此。Loihi和TrueNorth都是通用芯片,專用于通用的學習任務。
但生物學并不是通用的,而是根據具體的任務有針對性地優化。短期之內,速度、功率、面積和重量確實重要,工程師也想對其進行優化。他們最終將選擇最高效的設計,哪怕芯片價格更高。
但如果某些神經擬態計算的利基應用獲得成功(諸如關鍵詞檢測或感知處理),則可能形成投資、開發、創新和優化的良性循環。最終可能會產生一個具有其自身摩爾定律的新興行業,一個與認知和智能任務的需求密切相關的行業。
因此,我們可以合理地推斷:神經擬態處理器最終將克服我們在構建復雜的智能機器的過程中所面臨的瓶頸。其目標包括能分析及識別對象和所處環境、并即時適應不同類型傳感數據的機器(類似于人腦)。
為了實現這一目標,需要更深入地了解生物過程,使神經擬態計算成為現實。
責任編輯:pj
-
芯片
+關注
關注
456文章
51121瀏覽量
426071 -
英特爾
+關注
關注
61文章
10002瀏覽量
172129 -
邏輯器
+關注
關注
1文章
10瀏覽量
6596
發布評論請先 登錄
相關推薦
評論