目前，還沒有人能夠真正理解深度網(wǎng)絡(luò)在目標(biāo)分類任務(wù)方面的運(yùn)行方式和原理。主要原因是對深度網(wǎng)絡(luò)在分類任務(wù)中所做的“工作”還沒有一個很好的衡量標(biāo)準(zhǔn)，一篇最近發(fā)表的關(guān)于“通用感知流形”理論的論文試圖解決這個問題。

這篇論文于7月5日發(fā)表在《Phisical Review X》上，題為《Classification and Geometry of General Perceptual Manifolds》。論文作者為哈佛大學(xué)工程和應(yīng)用科學(xué)系的SueYeon Chung, 賓夕法尼亞大學(xué)工程與應(yīng)用科學(xué)系的Daniel D. Lee以及哈佛大學(xué)大腦科學(xué)中心的Haim Sompolinsky。

用統(tǒng)計(jì)力學(xué)理解機(jī)器學(xué)習(xí)，分析分層網(wǎng)絡(luò)的表示

文章提出，當(dāng)神經(jīng)元群對與相同感知目標(biāo)的不同物理特征（如方向、姿勢、規(guī)模、位置和強(qiáng)度等）相關(guān)的感覺信號集合做出反應(yīng)時，就會出現(xiàn)感知流形（Perceptual manifold）。對目標(biāo)的識別和區(qū)分需要以對流形內(nèi)部變化不敏感的方式對流形進(jìn)行分類。神經(jīng)元系統(tǒng)對不變目標(biāo)的分類和識別是大腦理論和機(jī)器學(xué)習(xí)中的基本問題。

文章研究讀出網(wǎng)絡(luò)（readout network）從其流形表示中對對象進(jìn)行分類的能力，開發(fā)了一種統(tǒng)計(jì)力學(xué)理論，用于對任意幾何形狀的流形進(jìn)行線性分類，并表明該理論與圓錐分解在數(shù)學(xué)上顯著相關(guān)。文中表明，位于流形上的特殊錨點(diǎn)可以定義半徑和維度的新幾何學(xué)量度，這可以解釋各種幾何形狀的流形的分類能力。

這個通用理論已經(jīng)在許多有代表性的流形上得到證明，包括典型的嚴(yán)格凸流形的l2橢圓體流形，代表具有有限樣本的多面體的l1球流形，以及代表由于調(diào)節(jié)連續(xù)自由度而產(chǎn)生的非凸連續(xù)結(jié)構(gòu)的環(huán)狀流形。同時我們也闡明了標(biāo)注稀疏性對一般流形分類能力的影響，表明了標(biāo)注稀疏與流形半徑之間存在廣泛的比例關(guān)系。文章使用新開發(fā)的算法計(jì)算多種二分法的最大邊際解，通過數(shù)值模擬證實(shí)了理論預(yù)測。此文提出的理論及其擴(kuò)展提供了一個強(qiáng)大而豐富的框架，可用于將線性分類的統(tǒng)計(jì)力學(xué)應(yīng)用于由感知神經(jīng)元響應(yīng)產(chǎn)生的數(shù)據(jù)以及針對目標(biāo)識別任務(wù)訓(xùn)練的人工深度網(wǎng)絡(luò)中。

我們的大腦能夠準(zhǔn)確地對我們看到的物體進(jìn)行分類，就算這些不同的物體的屬性參數(shù)（比如亮度、形態(tài)和背景特征）彼此間存在巨大差異，對大腦而言也往往不成問題。機(jī)器學(xué)習(xí)的最新進(jìn)展已經(jīng)產(chǎn)生了與我們的大腦具有相似能力的神經(jīng)網(wǎng)絡(luò)。然而，對生物和人工智能系統(tǒng)為何能達(dá)到如此高的識別準(zhǔn)確性，研究人員對此問題在數(shù)學(xué)上還不夠理解。本文展示了如何使用統(tǒng)計(jì)力學(xué)理論來解釋這個問題的基本原理，這些原理是神經(jīng)回路面對巨大的物理上可變性時，仍能具備識別和區(qū)分目標(biāo)的能力的基礎(chǔ)。

本文將特定對象的神經(jīng)表示中的可變性經(jīng)幾何建模為流形。在網(wǎng)絡(luò)的特定階段能夠被成功分類的流形數(shù)量的增長與神經(jīng)表示的維度成正比，但具體比例取決于流形的形狀。我們的理論可以分析在網(wǎng)絡(luò)中變化和傳導(dǎo)的流形表示的結(jié)構(gòu)，最終將其成功分類。

本文提出的理論利用圖形學(xué)量度來描述神經(jīng)流形的形狀，這些量度能夠預(yù)測何時可以分離篩選出隨機(jī)標(biāo)記的流形集。這些測量導(dǎo)致了具有任意幾何形狀的流形的數(shù)量，并且可以有效地計(jì)算;我們用它們來分析神經(jīng)反應(yīng)的原型流形模型。

本文提供了一個新的理論框架來理解和分析由分層神經(jīng)網(wǎng)絡(luò)形成的表示，可能會促進(jìn)關(guān)于感知系統(tǒng)如何有效地編碼和處理感官信息的新見解。

長期以來，感知學(xué)習(xí)的統(tǒng)計(jì)力學(xué)理論為理解單層神經(jīng)架構(gòu)及其內(nèi)核擴(kuò)展的性能和基本局限性打下了基礎(chǔ)。然而，以前的理論僅考慮了不存在圖形架構(gòu)的、有限數(shù)量的隨機(jī)點(diǎn)，并且無法解釋由于物理參數(shù)變化引起的可變性增加，而呈現(xiàn)為不同流形的大規(guī)模、可能是無限數(shù)量的輸入時，線性分類器的性能下降問題。本研究中提出的統(tǒng)計(jì)力學(xué)理論，可以解釋一般流形的線性分類的能力和局限性，并用于闡明層次感覺系統(tǒng)中神經(jīng)表征的變化。我們相信這一理論的應(yīng)用及其推論的擴(kuò)展將為人們?nèi)绾斡行У鼐幋a和處理感官信息的感知系統(tǒng)提供新的見解。

識別流形的通用理論：哪種網(wǎng)絡(luò)條件可以識別出流形

此文在Reddit論壇的機(jī)器學(xué)習(xí)板塊引發(fā)了一些很有意思的討論。不過，Reddit上有小伙伴表示論文的專業(yè)用語讓他看起來“就像個5歲小孩，求大神解釋”。下面有好幾位熱心觀眾用比較通俗的用語和示例對此文給出了自己的解釋。

比方說，你平生第一次見到一只貓，即使這只貓離你很遠(yuǎn)，又蜷曲著身子，但從它的體型形狀上判斷，仍然能夠知道這是只貓。這篇論文提出的方法，就是要教會機(jī)器也掌握類似的識別方式，從目標(biāo)的幾何形狀上來猜測，這是什么東西。也就是說，給計(jì)算機(jī)看一堆圖形，然后讓它猜測剩余部分是什么樣子的，而不用從每個角度來觀察目標(biāo)。

其中一位ID為“Hanmilton”的壇友給出了比較系統(tǒng)和詳實(shí)的回復(fù)（如上圖）。他首先聲明，自己并不是這篇論文的作者，但曾有幸聽過作者之一的學(xué)術(shù)報(bào)告。他認(rèn)為，這是一篇偏數(shù)學(xué)的論文，但其結(jié)論是頗具“革新性”的，接著在留言中從研究背景、重要性、應(yīng)用意義上對文章進(jìn)行了概述和分析。新智元對相關(guān)內(nèi)容做了編譯，一起來看看：

他表示，論文中的圖1（下圖）基本上提供了關(guān)于神經(jīng)空間中“流形”概念的啟發(fā)性觀點(diǎn)。在神經(jīng)空間中，我們對一只貓或狗的每個觀察的方向/角度/位置變化都可以視作一個由神經(jīng)元放電頻率構(gòu)成的平面或“流形”。圖中藍(lán)色對應(yīng)為狗，粉色對應(yīng)為貓。如果這兩個區(qū)域沒有交集，神經(jīng)網(wǎng)絡(luò)就能夠分辨出貓和狗。

他認(rèn)為，對目標(biāo)的“神經(jīng)流形”表示是深度網(wǎng)絡(luò)理解目標(biāo)和大腦識別/看見目標(biāo)的框架。

2．論文其余部分是建立一個通用理論，告訴你哪種網(wǎng)絡(luò)條件可以識別出流形，哪種則不能識別。比如，你什么時候能分辨出貓和狗，什么時候分不出來。論文中花了不少的篇幅來構(gòu)建關(guān)于流形如何存在于子空間內(nèi)的理論架構(gòu)，如何用數(shù)學(xué)來描述（如下圖）。

3．文中用了一些實(shí)例來證明這個理論。其實(shí)可以使用貓和狗的，但作者使用了更為通用的形狀：球形、橢圓體和環(huán)狀。

4. 文章表明，該理論可以根據(jù)流形的特點(diǎn)來預(yù)測哪些流形可以識別，哪些識別不出。可以看到，在給定的維度上（比如D=20），隨著半徑的擴(kuò)大，可識別度會下降，也就是說，這能夠顯示出在給定數(shù)據(jù)下所構(gòu)建的網(wǎng)絡(luò)的極限。