完全通過光學，不要計算機也能構(gòu)建個神經(jīng)網(wǎng)絡？港科大的研究團隊提出了一種全光學神經(jīng)網(wǎng)絡，所有線性變換、激活函數(shù)通過光學模塊就能實現(xiàn)。

在處理模式識別、風險管理以及其他同樣復雜的任務時，最強大的計算機都無法與人腦匹敵。但是，近來光學神經(jīng)網(wǎng)絡取得的進展通過模擬人腦中神經(jīng)元的反應方式縮小了計算機與人腦之間的差距。這種光學神經(jīng)網(wǎng)絡比 ML 中的網(wǎng)絡能耗更低、運算更快，是未來大規(guī)模應用 AI 的堅實基礎。

近日，來自香港科技大學的研究團隊在《Optica》雜志上發(fā)表了一篇論文，詳細描述了他們提出的雙層全光學神經(jīng)網(wǎng)絡。這是一個功能完善的全光學神經(jīng)網(wǎng)絡（AONN），其中所使用的線性函數(shù)和非線性激活函數(shù)都是完全根據(jù)光學實現(xiàn)的。而且這種全光學神經(jīng)網(wǎng)絡還能擴展到更加復雜的神經(jīng)網(wǎng)絡架構(gòu)，從而完成圖像識別等更復雜的任務。

這個復雜的東西就是一個兩層的全光學神經(jīng)網(wǎng)絡，它和機器學習中的兩層全連接網(wǎng)絡有點「類似」。

研究團隊成員之一 Junwei Liu 表示：「我們提出的全光學神經(jīng)網(wǎng)絡能夠以光速執(zhí)行光學并行計算，并且耗能極少。這種大規(guī)模的全光學神經(jīng)網(wǎng)絡可應用于圖像識別以及科學研究等諸多領(lǐng)域。」

港科大的全光學神經(jīng)網(wǎng)絡是什么

在傳統(tǒng)混合光學的神經(jīng)網(wǎng)絡中，光學組件通常用于線性運算，而非線性激活函數(shù)通常使用電子的方式實現(xiàn)。這主要因為非線性光學元器件需要高功率的激光器，這在光學神經(jīng)網(wǎng)絡中是很難實現(xiàn)的。

為了克服這方面的問題，研究者使用具有電磁感應透明度的冷原子實現(xiàn)非線性函數(shù)。研究團隊的 Shengwang Du 說：「這種光感應效應可以通過非常小功率的激光器實現(xiàn)，且該效應是基于非線性量子干涉的。因此這種效應可以將我們的系統(tǒng)擴展到量子神經(jīng)網(wǎng)絡，從而解決經(jīng)典方法難以解決的問題。」

為了確認新方法的能力與可行性，研究者構(gòu)建了一個雙層全連接全光學神經(jīng)網(wǎng)絡，它的輸入單元與輸出單元數(shù)目分別是 16 與 2。研究者使用他們的全光學網(wǎng)絡分類 Ising 模型（一種磁場的統(tǒng)計學模型），即 order 和 disorder 階段兩個類別。結(jié)果表明，全光學神經(jīng)網(wǎng)絡與一般基于計算機的神經(jīng)網(wǎng)絡一樣準確。

圖 1：全連接網(wǎng)絡的結(jié)構(gòu)與全光學神經(jīng)網(wǎng)絡的一般結(jié)構(gòu)。

如上 a 為機器學習中常見的全連接網(wǎng)絡，b 則是香港科技大學研究者提出的全光學神經(jīng)網(wǎng)絡（AONN），它們都會進行非線性變換。與一般的 ONN 不同，AONN 沒有復雜的電場神經(jīng)元，AONN 所有的信都通過光學的方式進行編碼。

非線性光學激活函數(shù)

這篇論文核心的突破就是采用了基于光學的非線性激活函數(shù)，因此整個網(wǎng)絡才能稱為「全」光學神經(jīng)網(wǎng)絡。那么什么是非線性光學激活函數(shù)？簡單而言，它就是一種基于電磁感應透明的模塊（electromagnetically induced transparency， EIT）完成的，我們只要知道 EIT 是一種原子躍遷之間的光量子干涉效應就行了。

EIT 非線性光學激活函數(shù)由激光冷卻的 85Rb 原子在 dark-line 二維磁光阱（MOT）中實現(xiàn)，如下圖 3（a） 所示。圖 3（b） 所示為原子能級，原子在基態(tài)|1》中制備。

在沒有耦合光束的情況下，原子介質(zhì)對共振探測光束是不透明的，它如圖 3（c） 透射光譜中的實現(xiàn)所示最大程度地被原子吸收。

圖 3：EIT 非線性光學激活函數(shù)的實現(xiàn)。

對「光學神經(jīng)網(wǎng)絡」的不懈追求

當然，香港科技大學的這個全光學神經(jīng)網(wǎng)絡并非研究者在該領(lǐng)域的唯一探索。今年 5 月份，在《Nature》的一篇論文中，德國的研究人員提出了一種在毫米級光子芯片上實現(xiàn)的、基于相變非線性材料的全光學脈沖神經(jīng)網(wǎng)絡。該網(wǎng)絡內(nèi)部沒有光到電的轉(zhuǎn)換，輸入的數(shù)據(jù)被電子調(diào)制成不同的波長以注入網(wǎng)絡，但之后所有數(shù)據(jù)都會停留在芯片上。利用集成相變材料來實現(xiàn)權(quán)重調(diào)制和神經(jīng)元集成；它們位于兩種微環(huán)諧振器上，具有突觸或神經(jīng)功能。

在不同工作波長情況下注入的未調(diào)制光接收到在相變材料中累積的神經(jīng)元激活，之后將它們傳遞到網(wǎng)絡下一層。即使沒有芯片上光學增益（在這個過程中，一種介質(zhì)將能量傳遞給通過它傳輸?shù)墓猓@個設置也可能擴展至更大的網(wǎng)絡。作者在其上實現(xiàn)了小規(guī)模的監(jiān)督學習和無監(jiān)督學習。

利用上述全光學神經(jīng)元進行監(jiān)督學習和無監(jiān)督學習。a 和 b 表示兩個神經(jīng)元在不同輸入模式下的輸出；C：全光學神經(jīng)元的無監(jiān)督學習機制；d：重復顯示「0110」模式時四個突觸的權(quán)重隨時間的變化。

香港科技大學的研究者在論文中也提到了這項研究，但他們指出，這兩項研究存在根本差別。首先，德國這項研究中的系統(tǒng)是單層的，而本文中提出的是一個 16 個輸入、2 個輸出的雙層全光學神經(jīng)網(wǎng)絡，還帶有 4 個具有非線性光學激活函數(shù)的中間神經(jīng)元。而且，港科大的研究者利用 EIT 量子干涉實現(xiàn)了非線性光學激活函數(shù)，這與那項研究的方法完全不同。

除了上述全光學神經(jīng)網(wǎng)絡，還有研究者嘗試從局部入手，把神經(jīng)網(wǎng)絡的一部分替換為光學卷積層。

去年 8 月，斯坦福大學在《Nature》子刊《Scientific Reports》上發(fā)表論文，提出在 CNN 網(wǎng)絡前端替換一個光學卷積層（opt-conv）的方案，可以在保持網(wǎng)絡性能的同時顯著降低能耗，并在 CIFAR-10 數(shù)據(jù)集的分類任務上驗證了其結(jié)論。

光學卷積層也就是用光學器件實現(xiàn)的卷積層，其光學運算具備高帶寬、高互聯(lián)和并行處理特性，并能光速執(zhí)行運算，功耗接近于零。該技術(shù)有望在低功耗機器學習領(lǐng)域得到進一步發(fā)掘。

光學卷積層設計。（a）4f 系統(tǒng)圖，可以通過在傅里葉平面上放置相位掩模來實現(xiàn)光學卷積層（opt-conv）。（b）數(shù)字卷積層的標準組成，包括輸入圖像、卷積核堆棧和相應的輸出量。（c）opt-conv 層中的等效組成，核和輸出以二維數(shù)組的形式平鋪在平面，而不是堆疊在深度維數(shù)中。

此外，為了實現(xiàn)光速運算，加州大學洛杉磯分校（UCLA）的研究者甚至用 3D 打印打造出了固態(tài)的神經(jīng)網(wǎng)絡。該網(wǎng)絡利用層級傳播的光衍射來執(zhí)行計算，實現(xiàn)了手寫數(shù)字的圖像識別，相關(guān)成果已發(fā)表在《science》雜志上。

這一想法看似新奇，其實也很自然。神經(jīng)網(wǎng)絡中執(zhí)行的線性運算，恰好和光衍射的線性相互作用對應，神經(jīng)元的權(quán)重、激活值概念也能和光的振幅、相位對應（可調(diào)）。此外，固態(tài)光衍射計算還具有能耗小、無發(fā)熱、光速執(zhí)行（盡管傳統(tǒng)計算機電路中的電場傳播也是光速的，但并未直接對應神經(jīng)網(wǎng)絡的計算過程）等優(yōu)點。

當然，也有人對此提出質(zhì)疑，認為這種固態(tài)的神經(jīng)網(wǎng)絡對安裝精度和環(huán)境震動要求比較嚴格，可行性有待考證。

更復雜的光學神經(jīng)網(wǎng)絡

最后，研究者還計劃擴展全光學的這種方法，從而構(gòu)建具有復雜架構(gòu)的大規(guī)模全光學深度神經(jīng)網(wǎng)絡，這些網(wǎng)絡能用于更復雜的圖像識別等任務。該論文的作者說：「盡管我們的工作是概念性驗證，但它展示了全光學神經(jīng)網(wǎng)絡在未來人工智能中的可能性。下一代的 AI 硬件在本質(zhì)上應該更快、更低能耗，從而高效支持復雜的 AI 應用。」