據(jù)報(bào)道,美國斯坦福大學(xué)的研究人員已經(jīng)證明,可以直接在光學(xué)芯片上訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。這一重大突破表明,光學(xué)電路可以實(shí)現(xiàn)基于電子的人工神經(jīng)網(wǎng)絡(luò)的關(guān)鍵功能,進(jìn)而可以以更便宜、更快速和更節(jié)能的方式執(zhí)行語音識(shí)別、圖像識(shí)別等復(fù)雜任務(wù)。
“相比使用數(shù)字計(jì)算機(jī),使用光學(xué)芯片進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算更有效,能夠解決更復(fù)雜的問題,”斯坦福大學(xué)研究團(tuán)隊(duì)的負(fù)責(zé)人范汕洄(Shanhui Fan)說:“這將增強(qiáng)人工神經(jīng)網(wǎng)絡(luò)的能力,例如,使其能夠執(zhí)行自動(dòng)駕駛汽車所要求的任務(wù),或者能夠?qū)陬^問題做出適當(dāng)?shù)幕卮稹_@將以我們現(xiàn)在無法想象的方式改善我們的生活。”
人工神經(jīng)網(wǎng)絡(luò)是人工智能的一種,它使用連接的單元,以類似大腦處理信息的方式來處理信息。使用人工神經(jīng)網(wǎng)絡(luò)執(zhí)行復(fù)雜的任務(wù),例如語音識(shí)別,需要訓(xùn)練算法對(duì)輸入進(jìn)行分類,比如對(duì)不同的單詞進(jìn)行分類。
雖然光學(xué)人工神經(jīng)網(wǎng)絡(luò)最近已經(jīng)得到實(shí)驗(yàn)證明,但此前的研究是在傳統(tǒng)的數(shù)字計(jì)算機(jī)上使用一個(gè)模型進(jìn)行訓(xùn)練步驟,然后將最終的設(shè)置導(dǎo)入光學(xué)電路。在最新Optica期刊上,斯坦福大學(xué)的研究人員報(bào)告了一種新方法,通過實(shí)現(xiàn)“反向傳播”算法(這是訓(xùn)練傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方法)的光學(xué)模擬,直接在設(shè)備中訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。
圖:研究人員已經(jīng)證明,神經(jīng)網(wǎng)絡(luò)可以通過光學(xué)電路(圖中藍(lán)色矩形)進(jìn)行訓(xùn)練。在整個(gè)網(wǎng)絡(luò)中,有若干個(gè)這樣的電路連接在一起。激光輸入(綠色)的編碼信息由光波導(dǎo)(黑色)通過芯片。芯片使用可調(diào)波束分離器(光波導(dǎo)中彎曲的部分)執(zhí)行對(duì)人工神經(jīng)網(wǎng)絡(luò)至關(guān)重要的操作。分離器將兩個(gè)相鄰的波導(dǎo)連接在一起,并可通過調(diào)整光學(xué)移相器(紅色和藍(lán)色發(fā)光物體)的設(shè)置進(jìn)行調(diào)整。分離器的作用就像“旋鈕”,可以在特定任務(wù)的訓(xùn)練過程中進(jìn)行調(diào)整。Credit: Tyler W. Hughes, Stanford University
該論文的第一作者說:“使用物理設(shè)備而不是計(jì)算機(jī)模型進(jìn)行訓(xùn)練,可以使訓(xùn)練過程更精確。”“而且,由于訓(xùn)練步驟是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中非常耗費(fèi)計(jì)算力的部分,因此,在光學(xué)電路上執(zhí)行這個(gè)步驟,對(duì)于改進(jìn)人工神經(jīng)網(wǎng)絡(luò)的計(jì)算效率、速度和功耗都是至關(guān)重要的。”
基于光的網(wǎng)絡(luò)
雖然神經(jīng)網(wǎng)絡(luò)處理通常使用傳統(tǒng)的計(jì)算機(jī)進(jìn)行,但仍有大量的工作要專門設(shè)計(jì)針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算優(yōu)化的硬件。基于光學(xué)的設(shè)備非常吸引人,因?yàn)樗鼈兛梢圆⑿械貓?zhí)行計(jì)算,同時(shí)比電子設(shè)備消耗的能量更少。
在這項(xiàng)新研究中,研究人員通過設(shè)計(jì)一種光學(xué)芯片來復(fù)制傳統(tǒng)計(jì)算機(jī)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式,克服了實(shí)現(xiàn)全光學(xué)神經(jīng)網(wǎng)絡(luò)(all-optical neural network)的一個(gè)重大挑戰(zhàn)。
人工神經(jīng)網(wǎng)絡(luò)可以被視為一個(gè)帶有許多旋鈕的黑盒。在訓(xùn)練期間,每個(gè)旋鈕都要轉(zhuǎn)動(dòng)一點(diǎn),然后測(cè)試系統(tǒng),查看算法的性能是否得到改善。
“我們的方法不僅可以幫助預(yù)測(cè)旋鈕轉(zhuǎn)動(dòng)的方向,還可以預(yù)測(cè)每個(gè)旋鈕轉(zhuǎn)動(dòng)的方向,從而更接近預(yù)期的性能。”Hughes說,“我們的方法大大加快了訓(xùn)練速度,特別是對(duì)于大型網(wǎng)絡(luò),因?yàn)榭梢圆⑿械孬@得每個(gè)旋鈕的信息。”
片上訓(xùn)練
新的訓(xùn)練協(xié)議在具有可調(diào)諧光束分離器的光學(xué)電路運(yùn)行,通過改變光學(xué)移相器的設(shè)置進(jìn)行調(diào)整。具體來說,該方法是將編碼有待處理信息的激光束發(fā)射到光學(xué)電路中,由光波導(dǎo)通過光束分離器進(jìn)行傳輸,像旋鈕一樣進(jìn)行調(diào)整,以訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法。
在新的訓(xùn)練協(xié)議中,激光首先通過光學(xué)電路輸入。退出設(shè)備后,計(jì)算出與預(yù)期結(jié)果的差值。然后,這些信息被用來產(chǎn)生一個(gè)新的光信號(hào),這個(gè)信號(hào)通過光網(wǎng)絡(luò)以相反的方向發(fā)送回來。
通過測(cè)量此過程中每個(gè)分束器周圍的光強(qiáng)度,研究人員展示了如何并行地檢測(cè)神經(jīng)網(wǎng)絡(luò)的性能隨著每個(gè)分束器設(shè)置而變化的情況。移相器的設(shè)置可以根據(jù)這些信息進(jìn)行更改,這個(gè)過程可以重復(fù),直到神經(jīng)網(wǎng)絡(luò)產(chǎn)生期望的結(jié)果。
研究人員用光學(xué)模擬測(cè)試了他們的訓(xùn)練技術(shù),方法是教算法執(zhí)行復(fù)雜的任務(wù),比如在一組點(diǎn)中找出復(fù)雜的特征。他們發(fā)現(xiàn)光學(xué)實(shí)現(xiàn)與傳統(tǒng)計(jì)算機(jī)的執(zhí)行類似。
該研究的負(fù)責(zé)人說:“我們的研究表明,你可以利用物理定律來實(shí)現(xiàn)計(jì)算機(jī)科學(xué)算法。”“通過在光學(xué)領(lǐng)域?qū)@些網(wǎng)絡(luò)進(jìn)行訓(xùn)練,證明光學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以利用光學(xué)器件來實(shí)現(xiàn)某些功能。”
研究人員計(jì)劃進(jìn)一步優(yōu)化這個(gè)系統(tǒng),并希望用它來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)任務(wù)的實(shí)際應(yīng)用。他們?cè)O(shè)計(jì)的通用方法可用于各種神經(jīng)網(wǎng)絡(luò)架構(gòu),也可以用于其他應(yīng)用。
未來智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能,互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。
未來智能實(shí)驗(yàn)室的主要工作包括:建立AI智能系統(tǒng)智商評(píng)測(cè)體系,開展世界人工智能智商評(píng)測(cè);開展互聯(lián)網(wǎng)(城市)云腦研究計(jì)劃,構(gòu)建互聯(lián)網(wǎng)(城市)云腦技術(shù)和企業(yè)圖譜,為提升企業(yè),行業(yè)與城市的智能水平服務(wù)。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4778瀏覽量
101018 -
圖像識(shí)別
+關(guān)注
關(guān)注
9文章
521瀏覽量
38324 -
AI
+關(guān)注
關(guān)注
87文章
31429瀏覽量
269821 -
語音識(shí)別
+關(guān)注
關(guān)注
38文章
1742瀏覽量
112798
原文標(biāo)題:斯坦福證明神經(jīng)網(wǎng)絡(luò)能直接在光學(xué)芯片上訓(xùn)練
文章出處:【微信號(hào):AItists,微信公眾號(hào):人工智能學(xué)家】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論