AI很聰明？有時計算加法的水平還不如高中生

谷歌的DeepMind的研究人員建立了兩種不同類型的最先進的神經網絡，看看它們能否被訓練來回答高中數學問題。結果是E級，沒有把6以上的個位數相加。

你會算下面這道題嗎？

1+1+1+1+1+1+1等于多少？

如果你的答案是7，那么恭喜你，正確，而且你的數學要比目前最先進的深度學習神經網絡技術要出色。

我沒有開玩笑，根據國外媒體報道，谷歌旗下DeepMind的人工智能研究人員本周發表了一項研究，他們試圖訓練神經網絡來解決算術、代數和微積分的基本問題。這類問題通常是對高中生的測試。

但是神經網絡的表現并不好。除了不正確地猜出上述問題的答案為6外，神經網絡在一次標準測試中只答對了40道題中的14道。

研究人員指出，這相當于英國16歲學生的E級。

基本上，在這一點上，人工智能很難真正學習任何基礎數學。

這篇名為“分析神經模型的數學推理能力”的論文被創建為一個基準測試集，其他人可以在此基礎上構建神經網絡來進行數學學習，就像ImageNet被創建為一個圖像識別基準測試一樣。

引用紐約大學著名的神經網絡評論家Gary Marcus的話，作者提到了著名的神經網絡的“脆弱性”，并主張調查為什么人類能夠更好地執行“關于對象和實體的離散成分推理，這是代數上的概括”。

他們提出了一系列不同的數學問題，這些問題應該促使神經網絡獲得這樣的推理，其中包括“規劃(例如，按照正確的組合順序識別函數)”，當一個數學問題的部分可能是關聯的，也可能不是分配的，也可能不是交換的。

他們寫道:“如果一個模型不具備至少一部分代數泛化的能力，它就很難在一系列問題類型中做得很好。”因此，數據集。

他們提出了一系列問題，沒有一個涉及幾何，也沒有一個是口頭問題：

42*r+27*c =-1167和130*r+4*c=372，求r等于多少。

答案：4

作者綜合了這些數據集，而不是將它們眾包，因為這樣很容易獲得大量的例子。他們將問題以“自由形式”的句子形式提交給計算機，這樣計算機就不會以任何方式將問題解析得更容易，比如“樹”或“圖”數據形式。

這些問題的基礎是“美國學校數學課程(16歲以下)，僅限于文本問題(因此不包括幾何問題)，它提供了作為學習課程一部分的廣泛數學主題。”他們寫道，他們加強了基礎課程，提出了“為代數推理提供良好測試”的問題。

他們指出，為了訓練一個模型，他們本可以賦予一些神經網絡的數學能力，但關鍵是讓它從無到有，并建立數學能力。因此，他們或多或少采用了標準的神經網絡。

他們寫道:“我們感興趣的是評估通用模型，而不是那些已經具備數學知識的模型。”

“從翻譯到通過圖像標題進行解析，這些模型(通常是神經結構)如此普遍的原因在于，由于這些函數近似器的設計中編碼的領域特定知識相對較少(或沒有)，所以它們沒有偏見。”

作者構建了兩種不同的“最先進的”神經網絡來解析、嵌入并回答這些問題。一種是“長短時記憶”(LSTM)神經網絡，它擅長處理順序類型的數據，由Sepp Hochreiter和Jurgen Schmidhuber在20世紀90年代開發。

他們還訓練了所謂的“轉換器”，這是谷歌開發的一種較新的遞歸神經網絡，在處理各種任務時越來越受歡迎，比如嵌入文本序列來處理自然語言。

他們給了神經網絡一些時間來思考，因為“模型可能需要花費幾個計算步驟來整合問題中的信息”。

“為了實現這一點，我們在輸出答案之前添加了額外的步驟(零輸入)。”

結果一般。例如，回到本文開頭的問題，當數字超過前六個計數數字時，基本加法就失敗了。作者表示，他們“測試了添加1 + 1 ++ 1的模型，其中1出現n次。

“LSTM和Transformer模型都給出了n≤6的正確答案，但n = 7的錯誤答案是6(似乎漏掉了一個1)，n > 7的其他錯誤值也是6。”

這是為什么呢?就像神經網絡經常發生的情況一樣，一些其他的事情似乎正在幕后發生，因為當把更大的數以更長的序列相加時，比如34+53+…+936等等，神經網絡能夠做得很好，作者觀察到。

“我們對這種行為沒有一個很好的解釋，”他們寫道。他們假設，當他們分析問題并對其進行操作時，神經網絡正在創建“子和”，而當他們失敗時，這是因為“輸入被‘偽裝’了，由重復多次的相同數字組成”。

一般來說，神經網絡在一些事情上做得最好，比如在一個長數字中找到“位置值”，比如，在一個數字中找出“十位”，比如9343012。他們也擅長四舍五入十進制數和按大小順序排序。

對這個系統來說，最難的問題是“數字理論問題”，比如因式分解，把數字或其他數學對象分解成組成部分，以及判斷一個數字是否是質數。但他們指出，人類在這方面也有困難，所以這并不奇怪。另一個問題是“混合算術”的組合，所有四種運算都在這里進行。在那里，機器的性能精度“下降到50%左右”。

為什么計算機在做加法或減法的時候做得很好，但當被要求做所有這些時卻感到困惑?

“我們推測，這些模塊之間的區別在于，前者可以用一種相對線性/淺層/并行的方式計算(因此通過梯度下降法相對更容易發現求解方法)，”作者沉思道，“而用括號計算混合算術表達式沒有捷徑。”

總而言之，在高中課程中，收集了一系列現實世界的問題，作者稱E級成績“令人失望”和“中等”。

他們得出這樣的結論:當變壓器神經網絡構建執行比LSTM變體,“兩個網絡在做多”算法推理”和“模型沒有學會做任何代數/算法操作的值,而是學習相對淺技巧來獲得好的答案的許多模塊。”

盡管如此，現在已經有了一個數據集，他們希望這是一個基線，在此基礎上，其他人將加入他們的行列，訓練更多種類的網絡。他們指出，數據集很容易擴展，這應該能讓研究人員直接達到大學水平的數學水平。

希望到那時，神經網絡已經學會了加法。