谷歌證實大模型能頓悟，特殊方法能讓模型快速泛化，或將打破大模型黑箱
在特定情況下，人工智能模型會超越訓練數據進行泛化。在人工智能研究中，這種現象被稱為「頓悟」，而谷歌現在正在提供對最近發現的深入了解。在訓練過程中，人工智能模型有時似乎會突然「理解」一個問題，盡管它們只是記住了訓練數據。在人工智能研究中，這種現象被稱為「頓悟」，這是美國作家Robert A. Heinlein創造的一個新詞，主要在計算機文化中用來描述一種深刻的理解。當人工智能模型發生頓悟時，模型會突然從簡單地復制訓練數據轉變為發現可推廣的解決方案——因此，你可能會得到一個實際上構建問題模型以進行預測的人工智能系統，而不僅僅是一個隨機的模仿者。谷歌團隊：「頓悟」是一種「有條件的現象」。「頓悟」在希望更好地理解神經網絡學習方式的人工智能研究人員中引起了很大的興趣。這是因為「頓悟」表明模型在記憶和泛化時可能具有不同的學習動態，了解這些動態可能為神經網絡學習提供重要見解。盡管最初是在單個任務上訓練的小型模型中觀察到，但谷歌的最新研究表明，頓悟也可以發生在較大的模型中，并且在某些情況下可以被可靠地預測。然而，在大型模型中檢測這種頓悟動態仍然是一個挑戰。
一個具有24個神經元的單層MLP。模型的所有權重如下面的熱圖所示；通過將鼠標懸停在上面的線性圖上，可以看到它們在訓練過程中如何變化。
模型通過選擇與輸入a和b對應的兩列
，然后將它們相加以創建一個包含24個獨立數字的向量來進行預測。接下來，它將向量中的所有負數設置為0，最后輸出與更新向量最接近的
列。模型的權重最初非常嘈雜，但隨著測試數據上的準確性提高和模型逐漸開始泛化，它們開始展現出周期性的模式。在訓練結束時，每個神經元，也就是熱圖的每一行在輸入數字從0增加到66時會多次在高值和低值之間循環。如果研究人員根據神經元在訓練結束時的循環頻率將其分組，并將每個神經元分別繪制成一條單獨的線，會更容易看出產生的變化。
這些周期性的模式表明模型正在學習某種數學結構；當模型開始計算測試樣本時出現這種現象，意味著模型開始出現泛化了。但是為什么模型會拋開記憶的解決方案？而泛化的解決方案又是什么呢？
下面的權重圖標顯示，在記憶訓練數據時，模型看起來密集而嘈雜，有許多數值很大的權重（顯示為深紅色和藍色方塊）分布在數列靠后的位置，表明模型正在使用所有的數字進行預測。隨著模型泛化后獲得了完美的測試數據準確性，研究人員看到，與干擾數字相關的所有權重都變為灰色，值非常低，模型權重全部集中在前三位數字上了。這與研究人員預期的泛化結構相一致。
通過這個簡化的例子，更容易理解為什么會發生這種情況：其實在訓練過程中，研究人員的要求是模型要同時完成兩個目標，一個是盡量高概率地輸出正確的數字（稱為最小化損失），另一個是使用盡量小的全權重來完成輸出（稱為權重衰減）。在模型泛化之前，訓練損失略微增加（輸出準確略微降低），因為它在減小與輸出正確標簽相關的損失的同時，也在降低權重，從而獲得盡可能小的權重。
而測試數據損失的急劇下降，讓模型看起來像是似乎突然開始了泛化，但其實不是，這個過程在之前就已經在進行了。但是，如果觀察記錄模型在訓練過程中的權重，大部分權重是平均分布在這兩個目標之間的。當與干擾數字相關的最后一組權重被權重衰減這個目標「修剪」掉時，泛化馬上就發生了。
?
模型只用了5個神經元就完美地找到了解決方案。
然后還是回到a+b mod 67的問題上，研究人員從頭訓練模型，沒有內置周期，這個模型有很多頻率。
然后研究人員使用離散傅里葉變換分離出頻率，會分離出輸入數據中的周期性模式。
而結果就和之前在數列中數1的任務一樣，隨著模型的泛化，權重會迅速衰減到很低。而且在不同的頻率任務中，模型也都出現了「頓悟」。
甚至可以找到模型開始泛化的超參數，然后切換到記憶，然后再切換回泛化！
在這篇文章中，谷歌研究人員提供了有關這一現象和當前研究的視覺展示。該團隊對超過1000個不同訓練參數的小型模型進行了算法任務的訓練，展示了「有條件的現象——如果模型大小、權重衰減、數據大小和其他超參數不合適，這種現象會消失?！?/span>
了解「頓悟」可能會改進大型AI模型
根據該團隊的說法，仍然有許多未解之謎，例如哪些模型限制會可靠地引起「頓悟」，為什么模型最初更喜歡記住訓練數據，以及研究中用于研究小型模型中這一現象的方法在大型模型中是否適用。對「頓悟」的理解進步可能會為未來大型AI模型的設計提供信息，使它們能夠可靠且快速地超越訓練數據。
頓悟模加法
模加法是檢測「頓悟」最好的方法。（模加法指的是兩個數據相加，如果合大于某一個值，結果就自動回歸某一個值。以12小時計時為例，時間相加超過12點之后就會自動歸零，就是一個典型的模加法。）
一個具有24個神經元的單層MLP。模型的所有權重如下面的熱圖所示；通過將鼠標懸停在上面的線性圖上，可以看到它們在訓練過程中如何變化。模型通過選擇與輸入a和b對應的兩列，然后將它們相加以創建一個包含24個獨立數字的向量來進行預測。接下來，它將向量中的所有負數設置為0，最后輸出與更新向量最接近的列。模型的權重最初非常嘈雜，但隨著測試數據上的準確性提高和模型逐漸開始泛化，它們開始展現出周期性的模式。在訓練結束時，每個神經元，也就是熱圖的每一行在輸入數字從0增加到66時會多次在高值和低值之間循環。如果研究人員根據神經元在訓練結束時的循環頻率將其分組，并將每個神經元分別繪制成一條單獨的線，會更容易看出產生的變化。這些周期性的模式表明模型正在學習某種數學結構；當模型開始計算測試樣本時出現這種現象，意味著模型開始出現泛化了。但是為什么模型會拋開記憶的解決方案？而泛化的解決方案又是什么呢？
在0和1的數列中訓練模型泛化
同時解決這兩個問題確實很困難。研究人員可以設計一個更簡單的任務，其中研究人員知道泛化解決方案應該是什么樣的，然后嘗試理解模型最終是如何學習它的。研究人員又設計了一個方案，他們先隨機生成30個由0和1組成的數字組成一個數列，然后訓練一個模型去預測數列中前三個數字中是否有奇數個1，如果有奇數個1，輸出就為1，否則輸出為0。例如，010110010110001010111001001011等于1 。000110010110001010111001001011等于0。基本上這就是稍微復雜一些的異或運算，略微帶有一些干擾噪聲。而如果一個模型產生了泛化能力，應該就只關注序列的前三位數字進行輸出；如果模型是在記憶訓練數據，它就會使用到后邊的干擾數字。研究人員的模型仍然是一個單層MLP，使用固定的1,200個序列進行訓練。起初，只有訓練數據準確性增加了，說明模型正在記憶訓練數據。與模算數一樣，測試數據的準確性一開始基本上是隨機的。但是模型學習了一個泛化解決方案后，測試數據的準確性就急劇上升。下面的權重圖標顯示，在記憶訓練數據時，模型看起來密集而嘈雜，有許多數值很大的權重（顯示為深紅色和藍色方塊）分布在數列靠后的位置，表明模型正在使用所有的數字進行預測。隨著模型泛化后獲得了完美的測試數據準確性，研究人員看到，與干擾數字相關的所有權重都變為灰色，值非常低，模型權重全部集中在前三位數字上了。這與研究人員預期的泛化結構相一致。通過這個簡化的例子，更容易理解為什么會發生這種情況：其實在訓練過程中，研究人員的要求是模型要同時完成兩個目標，一個是盡量高概率地輸出正確的數字（稱為最小化損失），另一個是使用盡量小的全權重來完成輸出（稱為權重衰減）。在模型泛化之前，訓練損失略微增加（輸出準確略微降低），因為它在減小與輸出正確標簽相關的損失的同時，也在降低權重，從而獲得盡可能小的權重。而測試數據損失的急劇下降，讓模型看起來像是似乎突然開始了泛化，但其實不是，這個過程在之前就已經在進行了。但是，如果觀察記錄模型在訓練過程中的權重，大部分權重是平均分布在這兩個目標之間的。當與干擾數字相關的最后一組權重被權重衰減這個目標「修剪」掉時，泛化馬上就發生了。
?何時發生頓悟？
值得注意的是，「頓悟」是一種偶然現象——如果模型大小、權重衰減、數據大小以及其他超參數不合適，它就不會出現。當權重衰減過小時，模型無法擺脫對訓練數據的過擬合。增加更多的權重衰減會推動模型在記憶后進行泛化。進一步增加權重衰減會導致測試數據和訓練數據的不準確率提高；模型直接進入泛化階段。當權重衰減過大時，模型將無法學到任何東西。在下面的內容中，研究人員使用不同的超參數在「1和0」任務上訓練了一千多個模型。因為訓練是有噪聲的，所以每組超參數都訓練了九個模型。
五個神經元的模加法
舉個例子，模加法問題a+b mod 67是周期性的。從數學上講，可以將式子的和看成是將a和b繞在一個圓圈上來表示。泛化模型的權重也具有周期性，也就是說，解決方案可能也會有周期性。
模型只用了5個神經元就完美地找到了解決方案。然后還是回到a+b mod 67的問題上，研究人員從頭訓練模型，沒有內置周期，這個模型有很多頻率。然后研究人員使用離散傅里葉變換分離出頻率，會分離出輸入數據中的周期性模式。而結果就和之前在數列中數1的任務一樣，隨著模型的泛化，權重會迅速衰減到很低。而且在不同的頻率任務中，模型也都出現了「頓悟」。
進一步的問題
什么原因導致泛化的出現？雖然研究人員現在對用單層MLP解決模加法的機制以及它們在訓練過程中出現的原因有了深入的了解，但仍然存在許多關于記憶和泛化的有趣的懸而未決的問題。從廣義上講，權重衰減確實會導致多種模型不再記憶訓練數據 。其他有助于避免過度擬合的技術包括 dropout、較小的模型，甚至數值不穩定的優化算法 。這些方法以復雜、非線性的方式相互作用，使得很難預先預測最終什么原因和方式會導致泛化。
為什么記憶比概括更容易？
一種理論：記憶訓練數據集的解決方法可能比泛化解決方法多得多。因此從統計上看，記憶應該更有可能先發生。有研究表明泛化與結構良好的表示相關。然而，這不是必要條件；一些沒有對稱輸入的 MLP 變體在求解模加法時學習的「循環」表示較少 。研究人員還觀察到，結構良好的表示并不是泛化的充分條件。比如這個小模型（沒有權重衰減的情況下訓練）開始泛化，然后切換到使用周期性嵌入進行記憶。甚至可以找到模型開始泛化的超參數，然后切換到記憶，然后再切換回泛化！而較大的模型呢？
首先，之前的研究證實了小型Transformer和MLP算法任務中的頓悟現象。涉及特定超參數范圍內的圖像、文本和表格數據的更復雜的任務也出現了頓悟研究人員認為：1）訓練具有更多歸納偏差和更少移動部件的更簡單模型，2）用它們來解釋更大模型難以理解的部分是如何工作的3）根據需要重復。都可以有效幫助理解更大的模型。而且本文中這種機制化的可解釋性方法可能有助于識別模式，從而使神經網絡所學算法的研究變得容易，甚至有自動化的潛力。參考資料：https://pair.withgoogle.com/explorables/grokking
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
物聯網
+關注
關注
2913文章
44915瀏覽量
376638
原文標題：谷歌證實大模型能頓悟，特殊方法能讓模型快速泛化，或將打破大模型黑箱
文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯網技術研究所】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
【「基于大模型的RAG應用開發與優化」閱讀體驗】+大模型微調技術解讀
重復項或使用編輯距離算法比較文本相似度。數據標注：高質量的數據標注直接影響模型的性能。標注過程應遵循明確標注規則、選擇合適的標注工具、進行多輪審核和質量控制等原則。數據增強：提高模型泛
發表于 01-14 16:51
如何使用Tensorflow保存或加載模型
繼續訓練也是必要的。本文將詳細介紹如何使用TensorFlow保存和加載模型，包括使用tf.keras和tf.saved_model兩種主要方法。
【大語言模型：原理與工程實踐】大語言模型的應用
相關的文檔片段，將這些文檔與用戶問題結合成提示詞，再輸入給大語言模型。這種方法為大語言模型提供了問題背景知識，有效減少了“幻覺”現象的出現。
提示工程作為新興學科，展現了其獨特的魅力
發表于 05-07 17:21
【大語言模型：原理與工程實踐】大語言模型的評測
評測任務則重點評估模型在提供方法論和實踐建議方面的能力。這類任務要求模型能像經驗豐富的導師或專家那樣，為用戶提供有價值的建議和解決方案?？傊?/div>
發表于 05-07 17:12
【大語言模型：原理與工程實踐】大語言模型的預訓練
和多樣性。高質量數據能確保模型穩定收斂，而數據的多樣性則有助于模型學習廣泛的通用能力，如文本生成、信息抽取、問答和編程等。此外，數據的多樣性對于確保模型在實際應用中具有良好的
發表于 05-07 17:10
【大語言模型：原理與工程實踐】大語言模型的基礎技術
矩陣，如詞-文檔矩陣和詞-上下文矩陣，然后對共現矩陣進行降維操作，得到詞的表示。其中，基于概率主題模型的方法最為流行，如潛在語義索引(LSI)和隱含狄利克雷分布(LDA)等。這些方法通過矩陣分解
發表于 05-05 12:17
【大語言模型：原理與工程實踐】揭開大語言模型的面紗
超出預期的能力和表現。這種能力主要體現在學習能力提升、語言理解和生成能力，以及創新和探索等方面。大語言模型擁有更大的參數空間和表征能力，能學習更復雜、更抽象的模式和特征，從而在各種任務中展現出優秀的泛
發表于 05-04 23:55
谷歌模型框架是什么軟件？谷歌模型框架怎么用？
谷歌模型框架通常指的是谷歌開發的用于機器學習和人工智能的軟件框架，其中最著名的是TensorFlow。TensorFlow是一個開源的機器學習框架，由谷歌的機器學習團隊開發，用于構建和
谷歌模型怎么用手機打開
要使用手機打開谷歌模型，首先需要明確一點：谷歌模型本身是在計算機上運行的程序或算法，而不是可以直接在手機上打開的應用程序。然而，你可以通過手
谷歌模型怎么用PS打開文件和圖片
谷歌模型本身并不是用Adobe Photoshop（簡稱PS）打開的文件和圖片格式。谷歌模型通常是用于機器學習和深度學習的模型文件，如Ten
- 設計技術
- 可編程邏輯
- 電源/新能源
- MEMS/傳感技術
- 測量儀表
- 嵌入式技術
- 制造/封裝
- 模擬技術
- RF/無線
- 接口/總線/驅動
- 處理器/DSP
- EDA/IC設計
- 存儲技術
- 光電顯示
- EMC/EMI設計
- 連接器
- 行業應用
- LEDs
- 汽車電子
- 音視頻及家電
- 通信網絡
- 醫療電子
- 人工智能
- 虛擬現實
- 可穿戴設備
- 機器人
- 安全設備/系統
- 軍用/航空電子
- 移動通信
- 工業控制
- 便攜設備
- 觸控感測
- 物聯網
- 智能電網
- 區塊鏈
- 新科技
- 聯系我們
- 廣告合作
- 王婉珠：wangwanzhu@elecfans.com
- 內容合作
- 黃晶晶：huangjingjing@elecfans.com
- 內容合作（海外）
- 張迎輝：mikezhang@elecfans.com
- 供應鏈服務 PCB/IC/PCBA
- 江良華：lanhu@huaqiu.com
- 投資合作
- 曾海銀：zenghaiyin@huaqiu.com
- 社區合作
- 劉勇：liuyong@huaqiu.com
-
關注我們的微信
-
下載發燒友APP
-
電子發燒友觀察
版權所有 ? 湖南華秋數字科技有限公司
長沙市望城經濟技術開發區航空路6號手機智能終端產業園2號廠房3層（0731-88081133）
電子發燒友 （電路圖） 湘公網安備43011202000918
工商網監
湘ICP備2023018690號-1
評論