人工神經網絡是用計算機來模擬人類大腦的AI技術，這一方法取得了很大的成功，谷歌設計的“阿爾法狗”已經在圍棋運動上終結了人類的統治。而在進一步拓展AI的應用領域時，研究人員遇到了“前學后忘”的問題。MIT的專家發現，要解決這個問題，需要繼續向人類的大腦學習。

對當前最先進的深度神經網絡進行訓練，可以很快的讓AI學會處理許多復雜的任務。但是當人們給AI進行新任務的訓練時，發現之前AI曾經處理過的任務被迅速地忘掉了——學的有多快，忘的就有多快，這種痛苦大概每個輔導過孩子功課的家長都能體會。而一般的解決方法是把之前對AI的訓練存儲起來，如果忘了就重新訓練一下，但是這個辦法會導致AI所占用的運算和存儲資源暴增，開銷巨大，是不可持續的。

麻省理工大學阿默斯特分校和貝勒醫學院的人工智能（AI）專家在新發表的論文中，介紹了一種新的方法來解決AI的“災難性遺忘”問題。他們是在分析和模仿人類學習和記憶機制的基礎上，開發了新的方法來讓AI能記住曾經學會的東西。

與AI神經網絡不同的是，人類可以在早期課程的基礎上不斷累積信息，人類的大腦用來保護這些重要記憶的機制是再現，或者說是重放代表這些記憶的神經元活動模式。

作者之一的西格爾曼說，該團隊的主要見解在于“認識到大腦中的重放不會存儲數據”。相反，“大腦可以在更高、更抽象的層次上生成記憶的表示，而無需生成詳細的記憶。” 受此啟發，她和同事們創造了類似于大腦的人工回放，其中沒有存儲任何數據。相反，就像大腦一樣，網絡會生成以前所見事物的高級表示。 事實證明，“抽象的生成性大腦重放”非常有效，并且該團隊表明重放僅幾個生成的表示足以記住舊記憶，同時學習新記憶。生成性重放不僅可以防止災難性的遺忘，而且還為系統學習提供了一種新的，更簡化的路徑，它還使系統可以將學習從一種情況推廣到另一種情況。 例如，如果讓具有生成性重放功能的AI首先學會將貓與狗分開，然后將熊與狐貍分開，那么它在沒有經過專門培訓的情況下也能區分貓和狐貍。而且，值得注意的是，系統學到的越多，學習新任務越好。 西格爾曼和同事認為：“我們提出了一種全新的，受大腦啟發的重放變體，其中重放由網絡自身的上下文調制反饋連接生成的內部或隱藏表示形式。我們的方法可實現最新的性能在不存儲數據的情況下不斷學習處理新任務，它為大腦中的抽象水平重放提供了一種新穎的模型。”

有個關于教育的調侃這樣說：走出校門之后，大部分東西很快就忘記了，而最終留在大腦中的，就是你真正學到的東西。MIT開發的的這種機制像是讓AI自己總結了自己的“學習經驗”，并將其應用到新的任務當中。

參考文獻：

1.https://techxplore.com/news/2020-09-brain-memory-abilities-ai-experts.html 2.https://www.nature.com/articles/s41467-020-17866-2

責任編輯：xj

原文標題：克服人工智能的“災難性遺忘”

文章出處：【微信公眾號：知社學術圈】歡迎添加關注！文章轉載請注明出處。