深度學習教父、圖靈獎得主Geoffrey Hinton今天在谷歌I/O大會的“爐邊聊天”上發表演講，討論了深度神經網絡、AI研究從大腦得到的啟發，以及真正理解大腦將如何改變許多領域。

最新一屆圖靈獎得主、多倫多大學教授兼谷歌大腦高級研究員 Geoffrey Hinton 今天在谷歌 I/O 開發者大會的爐邊聊天上發表了演講。

Hinton 討論了神經網絡的起源 —— 模擬生物神經元的數學函數層，以及 AI 有朝一日能夠像人類一樣進行推理的可行性和意義。

Hinton 被稱為 “人工智能教父”。過去 30 年里，Hinton 一直致力于解決 AI 面臨的一些最大的挑戰。除了在機器學習方面的開創性工作，Hinton 還撰寫 (或與他人合作撰寫) 了 200 多篇 AI 論文，包括 1986 年發表的一篇開創性的機器學習技術論文 —— 反向傳播。

Hinton 推廣了深度神經網絡這一概念，即以反向傳播為基礎的 AI 模型，其中包含相互連接的層，傳輸 “信號” 并調整連接的突觸強度 (權重)。通過這種方式，神經網絡可以從輸入數據中提取特征，并學會做出預測。

你只需要注意力機制！深度神經網絡優化始于Transformers

深度神經網絡得到大幅優化是在兩年前，谷歌的研究人員發表一篇名為 “Attention Is all You Need” 的論文，提出名為 Transformers 的神經網絡架構。

Transformers 拋棄了傳統的 RNN/CNN 結構，從自然語言本身的特性出發，實現了完全基于注意力機制的 Transformer 機器翻譯網絡架構。

得益于動態計算權重的注意力機制，Transformers 在語言翻譯任務中勝過了此前最先進的模型，同時大幅減少了訓練所需的計算量。

Hinton 承認，創新的速度甚至讓他自己都感到驚訝。他說：“2012 年時，我沒有想到僅僅 5 年之后，我們就能夠使用相同的技術在多種語言之間進行翻譯。”

盡管如此，Hinton 認為目前的 AI 和機器學習方法仍然存在局限性。他指出，大多數計算機視覺模型缺少反饋機制 —— 也就是說，它們不會嘗試從更高層次的表示中重建數據。相反，它們試圖通過改變權重來區別性地學習特性。

Hinton 說:“它們并沒有在每一層的特征檢測器上檢查是否能夠重建下面的數據。”

AI系統主要是無監督的，Hinton團隊轉向人類大腦啟發

Hinton 和同事們最近開始轉向人類視覺皮層尋找啟發。Hinton 說，人類的視覺采用一種重建的方法來學習，事實證明，計算機視覺系統中的重建技術增強了它們抵抗對抗性攻擊的能力。

“腦科學家們都同意這樣的觀點，即如果你的大腦皮層有兩個區域處于感知通路 (perceptual pathway) 中，并且一個區域與另一個區域之間存在連接，那么總會有一個反向的通路。”Hinton 說。

需要說明的是，Hinton 認為神經科學家可以從 AI 研究人員那里學到很多東西。他認為未來的 AI 系統將主要是無監督的。無監督學習是機器學習的一個分支，可以從未標記、未分類的測試數據中提取知識 —— 在學習共性和對共性是否存在做出反應的能力方面，無監督學習的能力幾乎達到人類水平。

Hinton 說：“如果你采用一個擁有數十億參數的系統，對某個目標函數執行隨機梯度下降，它的效果會比你想象的好得多…… 規模越大，效果越好。”

“這使得一種說法變得更加合理，即大腦計算某些目標函數的梯度，并根據梯度更新突觸的強度。我們只需要弄清楚它是如何得到梯度的，以及目標函數是什么。”

這甚至可能解開夢的奧秘。“為什么我們根本不記得我們做過的夢呢？”Hinton 反問道。

他認為這可能與 “忘卻”(unlearning) 有關，他在與人合著的一篇關于玻爾茲曼機的論文中解釋了這一理論。玻爾茲曼機是由對稱連接的、類似神經元的單元組成的網絡，可以隨機決定是 “on” 還是 “off”。Hinton 說，“它們發現…… 觀察到的數據不那么令人驚訝”。

Hinton 說:“夢的意義可能在于，你把整個學習過程顛倒過來了。”

未來需要真正理解大腦的運作方式

Hinton 相信，這些知識可以改變許多領域，比如教育。例如，他預計教學課程將考慮人類生物化學，因此會更加個性化，更具針對性。

他說：“人們可能會認為，如果我們真正理解了大腦，我們應該能夠改善教育等方面的狀況，我認為這是會實現的。”

“如果我們最終能夠了解大腦中正在發生什么，大腦是如何學習的，就能適應環境，從而更好地學習。”

但他也警告說，這一切都需要時間。就近期而言，Hinton 設想了智能助理的未來 —— 比如 Google Assistant 或亞馬遜的 Alexa—— 它們可以與用戶互動，并在日常生活中為用戶提供引導。

Hinton 總結說：“再過幾年，我不確定我們會學到多少東西。但如果你仔細觀察，你會發現智能助理現在已經相當聰明了。一旦 AI 助理能夠真正理解對話，它們就能和孩子們真正地交談，并提供教育。”