一說起“人工智能三教父”，大家很容易先想到 Geofeery Hinton 和 Yann LeCun 這兩位 “頂流” 大佬。

一位是德高望重的老教授、Google Brain 的靈魂人物，去年更有諾獎加身，自帶光環(huán)；

另一位去年在推特上天天和馬斯克吵架，還是 Meta AI 的頭號技術(shù)大咖，想不關(guān)注都難。

但Yoshua Bengio能和另外兩位并稱深度學(xué)習(xí)三巨頭，可不是隨便叫叫的，他們都是實打?qū)嵉拇笊窦壢宋铮粌H一起拿了圖靈獎，還共同開創(chuàng)了深度學(xué)習(xí)的時代。

前幾天，Bengio教授參與了巴黎理工學(xué)院的國際會議「AI Action Summit」，做了一場演講 + 兩場圓桌討論，相當(dāng)辛苦。這場會議由機器學(xué)習(xí)的領(lǐng)軍人物Michael Jordan 擔(dān)任主席，是接下來將在 2 月 10 號開幕的巴黎 AI 峰會的“預(yù)演”（也可以稱之為“熱身賽”），目的是為幾天后的活動打個頭陣。

事實上，這場會議的前一天就有Michael Jordan 本人和另一位教父 Yann LeCun 的爐邊談話環(huán)節(jié)，可謂是全明星陣容了。

Bengio教授演講的核心內(nèi)容，是他牽頭了一年完成的《人工智能高級系統(tǒng)風(fēng)險綜合評估報告》。

這份報告不是一家之言，而是匯集了全球 100 位頂尖 AI 專家的集體智慧，共同 “把脈” 人工智能發(fā)展，聚焦最核心、最敏感的 “風(fēng)險” 問題，深度分析了人工智能未來可能遇到的關(guān)鍵挑戰(zhàn)。

所以這份報告中提出的觀點和結(jié)論，將直接影響到幾天后巴黎 AI 峰會的議程設(shè)置和討論方向，甚至可能對全球人工智能政策的制定產(chǎn)生深遠的影響。

在后續(xù)關(guān)于這份報告的圓桌討論中，Bengio 教授也是精辟地點出，“我們不能像點菜一樣選擇 AI 風(fēng)險，所有風(fēng)險都必須一同解決。”

前面提到，Bengio 在這一天之內(nèi)還參加了第二場圓桌，其實就是這次會議的閉幕圓桌。這個圓桌討論了人工智能對社會、技術(shù)和可持續(xù)發(fā)展的變革性影響，話題也比較勁爆，像 Bengio 教授直接點名了 OpenAI，進行了一頓批評：“OpenAI 會保留真正強大的那些人工智能供自己使用，與現(xiàn)有的非人工智能系統(tǒng)競爭，他們基本上會摧毀所有其他沒有這些超級智能系統(tǒng)的國家的經(jīng)濟。我認為這確實是生存危機，需要幾年的時間才能彌合這一差距——但 DeepSeek 只用了兩年追上了這個差距，所以現(xiàn)在（其他國家）完全還有機會。”

Bengio 還犀利地評價了當(dāng)前的一大矛盾：“很多人都希望 AI 可以成為工具。但智能體（Agent）作為一個自主的實體，有自己的目標(biāo)，會自主選擇如何實現(xiàn)這些目標(biāo)，希望智能體成為工具就有些一廂情愿了。”

當(dāng)然，關(guān)于如今的當(dāng)紅辣子雞 DeepSeek，也有更多的討論。比方說，OpenAI 與 DeepSeek 之間，以及 OpenAI 與《紐約時報》之間的訴訟，突顯了圍繞 AI 模型訓(xùn)練數(shù)據(jù)和生成內(nèi)容的版權(quán)歸屬問題。

總之，咱們也不準(zhǔn)備水三篇文章了，以下就把Bengio教授的這場演講 +兩場圓桌討論，先后整理在下面，一次性放送，供大家一同學(xué)習(xí)：

演講| 人工智能憂患

以下是 Bengio 教授的演講實錄：

我將簡要地向大家介紹這份令人驚嘆的報告，它共計花費了我一年的時間。

這份報告是在布萊切利園會議峰會上授權(quán)發(fā)布的，那次峰會實際上先于現(xiàn)在開始的這次法國峰會。會議大約在一年前幾個月前舉行，各國政府在會上決定，有必要對關(guān)于最先進人工智能系統(tǒng)風(fēng)險的研究工作進行科學(xué)綜合。

這就是我們所做的工作。那場會議的結(jié)果就是創(chuàng)建了一個由各國專家代表組成的小組。此外，該小組還包括歐盟、聯(lián)合國和經(jīng)合組織的代表。

實際上，這是首次發(fā)布此類國際報告，其靈感來自于 IPCC，但結(jié)構(gòu)是非政治化的，真正獨立于政府可能施加的壓力，而是真正專注于科學(xué)和證據(jù)，這些科學(xué)和證據(jù)隨后可用于為政策制定者提供信息。

這是一項大規(guī)模的努力，匯集了來自世界各地約 100 位人工智能專家。可以想象，這些專家并非都彼此意見一致，關(guān)于人工智能存在許多爭論。但我們可以在適當(dāng)?shù)臅r候同意彼此保留不同意見。事實上，對于政策制定者來說，了解科學(xué)家們在哪些方面達成共識，在哪些方面存在分歧，是非常重要的信息。

因此，報告中討論了三個主要問題：

首先是關(guān)于能力。這些先進的人工智能系統(tǒng)，我們稱之為通用人工智能系統(tǒng)，它們在大量數(shù)據(jù)上進行訓(xùn)練，可以做很多事情。例如，就大語言模型而言，它們掌握了 200 種語言，掌握了非常廣泛的知識。報告著眼于這些系統(tǒng)在不同領(lǐng)域的能力演變，以及科學(xué)界現(xiàn)有的基準(zhǔn)。

報告的第二部分，也是核心部分，是風(fēng)險。我們選擇了以特定的方式組織這些風(fēng)險，下文會詳細描述。

然后，第三部分，也許更偏積極方面，是我們能做些什么？至少在科學(xué)層面是這樣。所以，報告再次聲明，不提出任何政治建議，而是試圖調(diào)查現(xiàn)有的緩解方法。下文也會詳細介紹這一點。

關(guān)于能力，你必須思考我們已知的內(nèi)容，以及已經(jīng)衡量的內(nèi)容。有許多不同的基準(zhǔn)。下圖顯示了不同的 AI 系統(tǒng)，以及過去幾年中不同的時間點。總體情況并不令人驚訝，我們看到在許多方面都取得了進展。稍后我將在另一張圖中向你展示一些更近期的資料。

同樣有趣的是，自從去年五月發(fā)布中期報告以來，發(fā)生了很多事情，其中最大的進步是在推理、編程和數(shù)學(xué)方面。在這些科學(xué)學(xué)科領(lǐng)域，我們一年前的系統(tǒng)表現(xiàn)不佳，但現(xiàn)在我們看到一些系統(tǒng)能夠通過博士水平的考試，能夠贏得計算機科學(xué)和數(shù)學(xué)領(lǐng)域的競賽。因此，了解這一點很重要。

下面這張圖表顯示了一些更容易理解的內(nèi)容。每條曲線對應(yīng)不同的基準(zhǔn)測試。它們涵蓋了語言、科學(xué)、編程和數(shù)學(xué)等不同領(lǐng)域的問題。如今，AI 系統(tǒng)在許多科學(xué)領(lǐng)域都取得了進展。

多年來的許多進步都與更多計算資源的使用有關(guān)，也稱為擴展（Scaling）。但最近，我們在 2024 年，甚至在過去幾周的DeepSeek中看到的情況，是推理擴展（Reasoning Scaling）的潛力和驚人的進步。我們使用運行時計算，以獲得更好的預(yù)測和更連貫的答案，這些答案使系統(tǒng)能夠在可能的答案中做出更合理的選擇，這與以前的情況有所不同。

我們應(yīng)該思考的是，系統(tǒng) 1的運作方式是直接從問題生成答案。這有點像模仿人類的直覺——當(dāng)你被問到一個問題時，你會直接給出答案。

而系統(tǒng) 2的思考方式則涉及深思熟慮。你會思考多種可能的答案，評估自己的答案，然后選擇一個更好的答案。因此，這就是新事物，盡管它自 2022 年隨著思維鏈的引入而醞釀。

另一件重要的事情是，在 2024 年底和 2025 年初，各公司正在努力構(gòu)建所謂的“智能體”（Agent），換句話說，就是比我們過去使用的 ChatGPT 更具自主性的系統(tǒng)。這些系統(tǒng)可以用來執(zhí)行一段時間的任務(wù)，例如網(wǎng)絡(luò)瀏覽、編碼、研究任務(wù)等等。它們?nèi)匀徊蝗缛祟悾貏e是當(dāng)任務(wù)需要人類花費很長時間時。如果一項任務(wù)需要人類花費幾個小時以上，通常這些系統(tǒng)就不如人類。但我們看到，從 24 年初到現(xiàn)在，這些方面取得了驚人的進步。

如果我們展望未來，有一些有趣的研究可以幫助我們預(yù)測可能減緩計算進步的瓶頸，例如能源需求或更多芯片的需求，這些都需要投資和時間才能生產(chǎn)出來。

報告中談到的另一件事是，我們開始看到公司使用人工智能本身作為工具來加速人工智能的研發(fā)，包括工程和編程方面。隨著這些系統(tǒng)變得更加勝任復(fù)雜的工作，更接近人類研究員的水平，這亦將加速人工智能的發(fā)展。

接下來，我將簡要介紹我們用于風(fēng)險討論的分類方法。風(fēng)險主要分為三大類：惡意使用風(fēng)險、功能故障風(fēng)險（主要指無意造成的問題）以及系統(tǒng)性風(fēng)險。

系統(tǒng)性風(fēng)險指的是由眾多細小問題累積而成的風(fēng)險，最終可能釀成重大問題。功能故障風(fēng)險以及部分惡意使用風(fēng)險則可能具有災(zāi)難性后果，甚至在不利情況下會使問題雪上加霜。

因此，在上述各個風(fēng)險類別中，都存在一些已被充分研究和理解的風(fēng)險。在惡意使用方面，諸如詐騙和深度偽造技術(shù)被用于政治或犯罪目的的案例已屢見不鮮。功能故障方面，偏見和歧視的普遍存在性也已得到充分研究，正如薩莎所指出的那樣。系統(tǒng)性風(fēng)險方面，隱私侵犯是當(dāng)前備受關(guān)注的問題，相關(guān)的隱私侵犯緩解措施以及法律地位等問題也引發(fā)了廣泛討論。

若展望未來，惡意使用方面近期最顯著的問題在于，缺乏專業(yè)知識的人員可能利用這些系統(tǒng)開發(fā)新型武器、發(fā)起網(wǎng)絡(luò)攻擊或部署生物武器。由于這些系統(tǒng)掌握了大量知識，它們能以搜索引擎無法企及的方式提供協(xié)助。例如，用戶可以與系統(tǒng)互動，詳細詢問實現(xiàn)特定目標(biāo)的步驟。

我曾親眼目睹一個演示，演示者通過平板電腦的視頻功能向人工智能系統(tǒng)展示其操作過程，并提問：“我現(xiàn)在應(yīng)該如何使用移液管？下一步需要按哪個按鈕？” 這顯然是搜索引擎無法實現(xiàn)的。

然而，在進行風(fēng)險評估時，我們必須注意考量這些系統(tǒng)所帶來的邊際損害或風(fēng)險，并將其與現(xiàn)有系統(tǒng)進行比較。

功能故障方面，展望未來，人們擔(dān)憂系統(tǒng)失控。近幾周出現(xiàn)了一些新的進展，部分研究論文指出，一些最先進的系統(tǒng)在輸入文檔中讀到將被新版本人工智能取代時，會嘗試“逃逸”。具體而言，它們會試圖入侵系統(tǒng)，并用自身的代碼和權(quán)重替換下一代系統(tǒng)的代碼和權(quán)重。當(dāng)然，這些都是人為設(shè)置的受控實驗，人工智能實際上并未真正“逃逸”。但我認為這表明，系統(tǒng)可能表現(xiàn)出我們不期望的行為意圖，例如某種欺騙和自我保護行為。如果事后詢問系統(tǒng)“你為什么要這樣做？”，它們可能會回答“我什么也沒做”。

因此，我們亟需找到減輕這些風(fēng)險的方法，深入了解風(fēng)險產(chǎn)生的原因，并確保我們構(gòu)建的人工智能系統(tǒng)不會做出不道德行為，不會以違反指令的方式傷害人類。

我并非勞動力市場專家，但我們有多位經(jīng)濟學(xué)家正積極參與研究人工智能對勞動力市場的潛在影響。如同許多其他風(fēng)險一樣，專家們對此問題的看法也存在分歧。然而，關(guān)鍵信息在于，無論是對于政府還是科學(xué)家而言，都存在諸多不確定性。我們需要深入研究這些問題，并加大對必要研究的投入，以減輕風(fēng)險，防止其發(fā)展到失控的程度。

接下來，我想簡要介紹一下我們在新報告中新增的內(nèi)容，這些內(nèi)容在中期報告中并未涉及。特別是，我們新增了一個章節(jié)，專門討論開放權(quán)重模型。

這是一個術(shù)語，可能與大家熟知的開源有所區(qū)別。開放權(quán)重模型是指公司會共享允許用戶使用模型的代碼，包括模型權(quán)重，但不公開模型的訓(xùn)練方式。而模型的訓(xùn)練方式信息對于科學(xué)家而言至關(guān)重要。實際上，關(guān)于共享的程度和類型存在多種變體，具體細節(jié)可以在報告的表格中查閱，這些內(nèi)容都非常重要。

同樣重要的是要理解開放權(quán)重模型的優(yōu)點和缺點。開放權(quán)重模型顯然有助于提高透明度，這對社會發(fā)展具有積極意義。它們促進了創(chuàng)新，因為它們使得小型機構(gòu)或個人也能使用這些可能耗資巨大的系統(tǒng)。此外，它們還促進了人工智能研究。學(xué)者們確實需要獲取此類訪問權(quán)限，包括在人工智能安全領(lǐng)域的研究。

然而，我們必須認識到，開放權(quán)重模型也可能助長惡意或誤導(dǎo)性使用。如果系統(tǒng)是開源的，即使設(shè)置了一些安全預(yù)防措施、緩解措施或保障措施，惡意使用者也很容易從代碼中移除這些措施，或者通過微調(diào)模型來消除這些防御機制。因此，這使得惡意行為者更容易利用這些系統(tǒng)。當(dāng)這些系統(tǒng)變得足夠強大以至于可以被武器化時，這將成為一個我們必須認真對待的問題。

關(guān)于緩解措施，我在此不展開過多闡述，因為目前針對緩解措施的研究尚不充分。盡管一些風(fēng)險管理技術(shù)公司和研究人員已經(jīng)開發(fā)出一些緩解方案，但這些方案都存在局限性。我認為目前存在一些有前景的研究方向，但我們需要在這些方向上投入更多研究力量。

另外，從政策制定者的角度來看，非常重要的一點是，我一直在強調(diào)這些風(fēng)險以及可能發(fā)生的情形或結(jié)果都存在不確定性。這種不確定性使得政策制定者難以確定其決策是否正確。如果他們采取措施減輕風(fēng)險，但最終風(fēng)險并未發(fā)生，那么事后看來這些措施可能會被認為是多余的。另一方面，如果他們選擇等待更有力的證據(jù)，則可能導(dǎo)致社會在面對重大風(fēng)險時毫無準(zhǔn)備。因此，這些都是艱難的抉擇，真正屬于政策制定領(lǐng)域。

再次強調(diào)，科學(xué)研究已表明，關(guān)于人工智能風(fēng)險存在大量證據(jù)，包括當(dāng)前已發(fā)生的風(fēng)險，以及我們已掌握線索和預(yù)警信號的潛在風(fēng)險。人工智能可能非常有用，也可能帶來巨大益處——事實上，本次峰會的大部分內(nèi)容都將圍繞人工智能的積極作用展開——然而，為了充分利用人工智能的益處，我們需要更深入地了解這些風(fēng)險，并采取恰當(dāng)?shù)谋Ｕ虾途徑獯胧源_保我們能從人工智能中獲益，而不是遭受其負面影響。

最后，我想強調(diào)的是，我們擁有改變現(xiàn)狀的能力。閱讀這類報告可能會讓人感到擔(dān)憂，但實際上，未來掌握在我們手中，更重要的是掌握在政府手中。因此，向政府提供正確的建議，并確保政府能夠聽取科學(xué)證據(jù)，對于我們未來的發(fā)展至關(guān)重要。

接下來，我將邀請我的同事上臺參與小組討論環(huán)節(jié)。

圓桌討論 | “在霧中行駛汽車”

對話嘉賓

Yoshua Bengio（深度學(xué)習(xí)三巨頭之一，圖靈獎得主）蒙特利爾大學(xué)正教授，Mila 創(chuàng)始人兼科學(xué)主任

Dawn Song加州大學(xué)伯克利分校計算機科學(xué)教授

曾毅（Yi Zeng）中國科學(xué)院類腦人工智能與人工智能治理教授；聯(lián)合國人工智能咨詢機構(gòu)成員

Nuria OliverELLIS 阿利坎特分部主任兼聯(lián)合創(chuàng)始人

主持人Guillaume Avrin法國國家人工智能協(xié)調(diào)員

以下是這場圓桌對話的演講實錄：

主持人：非常感謝 Yoshua，也感謝各位對國際人工智能安全報告的貢獻。該報告為可信賴人工智能的研究及相關(guān)公共政策提供了框架。

各位在人工智能和人工智能安全領(lǐng)域都做出了重要貢獻。今天，我們希望能聽取各位對這份報告的看法，以及它將如何影響各位未來的研究。

首先，我們向 Yoshua 提問，談?wù)勅斯ぶ悄艿哪芰ΑＤ阍谘葜v中提到了人工智能在數(shù)學(xué)、科學(xué)推理和編程等領(lǐng)域的進步。你認為，從中期報告到最終報告，人工智能能力方面最顯著的進展是什么？

Yoshua Bengio：我認為最顯著的進展是推理能力。然而，目前的方法是否足以達到人類級別的推理能力，特別是創(chuàng)造性推理，仍然是一個有爭議的問題。

但從 AlphaGo 等人工智能應(yīng)用中，我們看到，通過強化學(xué)習(xí)，人工智能有可能產(chǎn)生超越人類的創(chuàng)新解決方案。我們尚未達到那個程度，但近幾個月來，隨著對更高自主性和能動性的追求，從預(yù)訓(xùn)練大型語言模型到智能體的轉(zhuǎn)變正在發(fā)生。我們不能再將它們僅僅視為語言模型，而是智能體，它們學(xué)習(xí)行動，學(xué)習(xí)實現(xiàn)目標(biāo)。我認為這改變了我們對人工智能的認知。

主持人：Song 教授，對于我們尚未知曉的部分，你有什么看法？目前，關(guān)于最先進人工智能模型的能力，我們有哪些未知之處？

Dawn Song：這個問題非常好。實際上，我們已知的東西非常少，未知的東西很多。在人工智能能力的幾乎每個方面，都存在大量未解決的問題。

首先，關(guān)于能力提升的方式。之前的關(guān)注點主要在預(yù)訓(xùn)練和規(guī)模化上，最近則轉(zhuǎn)向推理時間的規(guī)模化。隨著 DeepSeek 等技術(shù)的出現(xiàn)，我們看到推理時間規(guī)模化成本可能降低。因此，能力如何提升仍有很多未知之處。

其次是智能體方面，我認為這是一個巨大的未知數(shù)。我相信智能體是下一個前沿。我正在教授一個關(guān)于大型語言模型智能體的 MOOC（慕課），上學(xué)期有超過 15000 人注冊。本學(xué)期，我們推出了新版本“高級大語言模型智能體”，專注于推理、規(guī)劃、編碼智能體、網(wǎng)絡(luò)智能體和數(shù)學(xué)人工智能等。這又是一個巨大的未知領(lǐng)域。

第三，我們甚至不知道自己不知道什么。我們常說模型具有某些能力，但如何有效激發(fā)這些能力？我們不清楚模型還能做什么，目前還沒有正確的方法來挖掘這些能力。其中一些能力可能是我們現(xiàn)在還未意識到的危險能力。如何最好地激發(fā)和理解這些能力，使得我們更難全面評估人工智能系統(tǒng)的能力。

主持人：非常感謝你的精彩回答。正如我們對人工智能能力了解有限，這也意味著我們對相關(guān)風(fēng)險的認識也不全面，對嗎？

我想問各位一個問題，請隨意回答。Yoshua 在演講中提到了許多風(fēng)險，大家認為哪些風(fēng)險最重要？這些風(fēng)險發(fā)生的可能性和嚴重程度如何？如果每人只能強調(diào)一個風(fēng)險，那會是什么？

Yi Zeng：我這樣理解這個問題。就像人工智能促進可持續(xù)發(fā)展一樣，如果可持續(xù)發(fā)展的 17 個支柱中，你在 16 個方面都成功了，但在第 17 個方面失敗了，那么整體的可持續(xù)發(fā)展就失敗了。

人工智能安全也是如此。我們不應(yīng)區(qū)分風(fēng)險的嚴重程度。解決問題的方式應(yīng)該是：風(fēng)險可能分層級，但目前人工智能可能具備自反性，模型可以自我認知升級。我們無法預(yù)測人工智能模型認知水平提升的時間，因此風(fēng)險水平也可能自動上升。

所以，選擇單一風(fēng)險是不合理的。中期報告后，最危險的是大語言模型對自身模型有了初步認知，并具備反思性思維。這是最值得關(guān)注的風(fēng)險，因為它們可以自我認知升級，導(dǎo)致不同層級的風(fēng)險評估變得非常困難。這是科學(xué)進步需要關(guān)注的重點。

Nuria Oliver：我補充幾句。所有風(fēng)險都很重要，都值得關(guān)注，否則不會出現(xiàn)在報告中。但這些風(fēng)險發(fā)生的概率和已有的證據(jù)各不相同。

我更關(guān)注研究和減輕那些我們已確定存在的風(fēng)險，例如侵犯隱私和偏見。這些風(fēng)險真實存在，影響著數(shù)百萬人的生活，我們需要努力解決和減輕它們。當(dāng)然，推測性風(fēng)險也需要關(guān)注，但不能忽視已存在的現(xiàn)實風(fēng)險。

關(guān)于能力問題，我想補充一點。人類花費數(shù)百年時間來理解人類認知，因此可以確定人類的能力。解決復(fù)雜物理問題需要具備數(shù)學(xué)知識，否則幾乎不可能完成。

但通用人工智能模型并非如此。它們在法律或數(shù)學(xué)測試中表現(xiàn)出色，并不一定意味著它們具備人類完成這些測試的全部能力。很多例子表明它們的脆弱性。例如，簡單的算術(shù)運算在訓(xùn)練數(shù)據(jù)中較少出現(xiàn)，它們就可能失敗，比如 42 * 43 的計算。提問方式、提示中是否包含無關(guān)句子、問題順序等，都可能導(dǎo)致它們給出完全不同的答案。

這些行為是人類在 SAT 考試中取得優(yōu)異成績時不會出現(xiàn)的。評估和理解這些模型能力時，我們需要避免認知偏差，不要從人類能力出發(fā)進行推斷，因為人工智能認知與人類認知并非完全對應(yīng)。

Dawn Song：我來補充一下風(fēng)險清單。對我而言，目前最擔(dān)心的風(fēng)險是網(wǎng)絡(luò)安全領(lǐng)域的風(fēng)險。

原因在于人工智能作為一種雙重用途技術(shù)，既能幫助攻擊者，也能幫助防御者。關(guān)鍵問題是：人工智能會更多地幫助哪一方？與權(quán)力風(fēng)險等其他風(fēng)險不同，網(wǎng)絡(luò)安全風(fēng)險的攻擊者動機多樣，從國家行為體到網(wǎng)絡(luò)犯罪，甚至業(yè)余愛好者。

人工智能技術(shù)的進步可能會大大降低網(wǎng)絡(luò)攻擊成本，擴大規(guī)模，并提高自動化程度。例如，在網(wǎng)絡(luò)釣魚和社會工程攻擊中，生成式人工智能已帶來顯著變化。金融犯罪中，曾有香港金融從業(yè)人員參加與“同事”的電話會議，被指示匯款 2500 萬美元，事后發(fā)現(xiàn)“同事”都是人工智能生成的。

這些例子表明，人工智能進步可能帶來巨大變化。我們當(dāng)然希望人工智能更多地幫助防御方。這是一個充滿挑戰(zhàn)，且需要高度關(guān)注的風(fēng)險領(lǐng)域。

Yi Zeng：關(guān)于攻防，許多人致力于開發(fā)更強的攻擊和防御技術(shù)。但從科學(xué)角度看，我們需要認識到，當(dāng)所有攻擊者和防御者都參與時，沒有哪個攻擊者能完全突破所有防御，也沒有哪個防御者能應(yīng)對所有攻擊。坦率地說，從科學(xué)角度來看，攻防雙方都無法完全保護我們。我認為這是目前的現(xiàn)狀。

Yoshua Bengio：我認為不能像剛才那樣只選擇一個風(fēng)險而忽略其他。在政策層面，我們需要解決所有風(fēng)險。

你提到了風(fēng)險的嚴重性和可能性。這是非常重要的考量因素。有些風(fēng)險已發(fā)生且可衡量，可能性是 100%。有些風(fēng)險的嚴重程度更高，例如恐怖分子利用人工智能可能導(dǎo)致數(shù)百萬人死亡。

許多人，包括我自己在內(nèi)，擔(dān)心我們會失去對人工智能系統(tǒng)的控制，甚至出現(xiàn)系統(tǒng)試圖接管社會的情況。這種風(fēng)險的嚴重性極高，但可能性難以確定，不同的人有不同看法。

為了明智地應(yīng)對風(fēng)險，我們不能有所偏廢。還有一個風(fēng)險值得更多關(guān)注，那就是權(quán)力集中。人工智能發(fā)展需要大量資本和人才，目前只有少數(shù)國家主導(dǎo)。這非常危險，可能加劇其他風(fēng)險。

應(yīng)對方法在于有意義的多邊治理和國際協(xié)調(diào)。我們不希望個人、公司或國家擁有過于強大的人工智能系統(tǒng)，他們可能為了自身利益使用，甚至犯下意想不到的錯誤，最終由所有人承擔(dān)代價。我們參與人工智能科學(xué)與社會日活動，正是為了探討這些問題。

主持人：Nuria，你是 ELLIS 阿利坎特分部的負責(zé)人，也是 ELLIS 歐洲網(wǎng)絡(luò)在西班牙的中心。在剛才討論的所有主題中，你認為哪些領(lǐng)域需要更多研究？

Nuria Oliver：謝謝。在回答問題前，我想強調(diào) Yoshua 剛才說的，權(quán)力以前所未有的方式集中在少數(shù)人手中。這非常危險，尤其是在人工智能領(lǐng)域，因為它是一門橫向?qū)W科，影響廣泛。

為應(yīng)對權(quán)力集中，歐洲以草根運動形式創(chuàng)建了 ELLIS（歐洲學(xué)習(xí)和智能系統(tǒng)實驗室），旨在建立一個由歐洲頂尖人工智能人才組成的分布式卓越科學(xué)網(wǎng)絡(luò)，制衡權(quán)力集中。

阿利坎特分部名為“以人為本的人工智能研究所”，回應(yīng)了我個人對人工智能與人（包括個人和社會）互動研究不足的擔(dān)憂，尤其缺乏獨立于經(jīng)濟和政治利益的研究。因此，我們需要更多這方面的研究。

進行這類研究非常困難，尤其在影響評估方面。正如 Sasha 提到的，缺乏透明度導(dǎo)致數(shù)據(jù)不足。超大規(guī)模系統(tǒng)部署在全球，被數(shù)十億人使用，商業(yè)部署又是專有和封閉的，這使得研究更加困難。

但這并不意味著我們不應(yīng)該努力。我們需要倡導(dǎo)和投資研究方法，不僅要預(yù)測、衡量和評估風(fēng)險，還要了解人工智能系統(tǒng)對社會和環(huán)境的影響。如果我是國家領(lǐng)導(dǎo)人，肯定會優(yōu)先關(guān)注這些研究。

主持人：我們再討論討論解決方案，例如國際合作。Song 教授，關(guān)于人工智能的風(fēng)險管理和治理，你認為目前最有希望的方法是什么？

Dawn Song：是的，謝謝。這是一個好問題。最近，我們與頂尖研究人員發(fā)起“科學(xué)和循證人工智能政策之路”提案，強調(diào)人工智能政策應(yīng)以科學(xué)和證據(jù)為基礎(chǔ)，優(yōu)先提升對人工智能風(fēng)險的科學(xué)認知，并有效識別和減輕風(fēng)險。Yoshua 和許多人都支持這項提案。

提案列出了五個優(yōu)先事項。其中一些與風(fēng)險管理相關(guān)，結(jié)合了科學(xué)與政策。政策方面，我們強調(diào)透明度和不良事件監(jiān)測的重要性，這有助于監(jiān)測和理解人工智能系統(tǒng)的改進，以及危險能力監(jiān)測、部署及部署后損害等。

另一方面，我們需要推進對人工智能風(fēng)險的科學(xué)理解，并開發(fā)風(fēng)險緩解方法。風(fēng)險類型廣泛，我們需要全面理解各種風(fēng)險。

我們提出了“邊際風(fēng)險評估”框架，需要理解前沿人工智能能力帶來的新增風(fēng)險。例如，在網(wǎng)絡(luò)安全領(lǐng)域，我們正在評估前沿人工智能對網(wǎng)絡(luò)安全的影響，并希望與社區(qū)合作，持續(xù)監(jiān)測和縱向研究，以更好理解風(fēng)險。

除了理解風(fēng)險，我們還需要開發(fā)新的風(fēng)險緩解方法。為此，Yoshua 和其他人發(fā)起了“定量人工智能安全”倡議，旨在為人工智能系統(tǒng)的安全性和可靠性帶來更嚴謹、可證明的保障。我們最近發(fā)布了一篇新論文，探討如何利用人工智能進行形式化數(shù)學(xué)推理和定理證明，目標(biāo)是開發(fā)和利用更優(yōu)的人工智能技術(shù)進行定理證明和程序驗證，從而生成可證明安全且正確的代碼，幫助構(gòu)建安全系統(tǒng)。這些都是開發(fā)風(fēng)險管理方法的例子。

Yi Zeng：補充一點，法國在數(shù)學(xué)和機器學(xué)習(xí)理論方面很強。安全領(lǐng)域需要理論支撐，傳統(tǒng)的試錯法在深度學(xué)習(xí)中有效，但現(xiàn)在不夠了。我們需要誤差界限等理論結(jié)構(gòu)，確保部署的系統(tǒng)對公眾安全。

主持人：Yoshua，你在演講中提到了證據(jù)困境。我們?nèi)绾螏椭咧贫ㄕ邞?yīng)對這一困境？

Yoshua Bengio：在科學(xué)領(lǐng)域，處理危險實驗早有先例，例如人類克隆或地球工程。這些領(lǐng)域的共同點是，潛在的壞結(jié)果非常嚴重，但我們?nèi)狈ν晟频臄?shù)學(xué)或物理模型來預(yù)測。

氣候問題也是如此，我們難以預(yù)測向大氣中引入化學(xué)物質(zhì)的后果。人工智能領(lǐng)域也一樣，難以預(yù)測未來幾年甚至幾十年人工智能的進步方向，以及政策走向。在高風(fēng)險和高度不確定性的情況下，

合乎邏輯的做法是應(yīng)用預(yù)防原則，即保持謹慎。就像在霧中山區(qū)駕駛，應(yīng)該減速，并嘗試改進技術(shù)以看清前方。正如 Dawn 所說，我們需要發(fā)展科學(xué)，以便預(yù)見風(fēng)險，必要時減速或轉(zhuǎn)向。預(yù)防原則告訴我們，不能在未知目的地的情況下盲目加速前進，這如同拿所有人的生命玩俄羅斯輪盤賭。

主持人：最后一個問題，請教 Yi Zeng 教授和 Nuria。歐洲有《人工智能法案》，各位都很清楚。關(guān)于如何制定法規(guī)，建立可信賴的框架，促進人工智能發(fā)展和部署，同時又不阻礙創(chuàng)新，一直存在爭議。關(guān)于風(fēng)險管理，各位認為應(yīng)該如何平衡？

Yi Zeng：關(guān)鍵在于，發(fā)展和安全并非對立關(guān)系。我們最近的研究表明，通過將大型語言模型調(diào)整到安全向量空間，無需大幅改動，就能顯著提高安全性，降低攻擊成功率，同時保持問題解決的準(zhǔn)確性。

這項研究將在 ICLR 會議上發(fā)表。這意味著安全和發(fā)展可以兼顧。在許多情況下，不需要刻意平衡。我們可以開發(fā)先進系統(tǒng)，同時通過安全向量調(diào)整大型語言模型，確保系統(tǒng)安全。技術(shù)人員和科學(xué)家不應(yīng)誤導(dǎo)公眾，認為不談人工智能安全就是支持人工智能發(fā)展。實際上，可以保持人工智能高度安全，并使其發(fā)揮有益作用。

關(guān)于如何平衡，我們的人工智能安全報告沒有討論不同地區(qū)的安全工作，但這并不代表不重要。“全球人工智能安全指數(shù)”評估了 40 個國家，結(jié)果并非人工智能安全準(zhǔn)備水平與經(jīng)濟水平正相關(guān)。所有國家的人工智能安全準(zhǔn)備水平都應(yīng)相同，無論經(jīng)濟水平如何。人工智能安全對每個國家都至關(guān)重要。

關(guān)于報告，再給大家分享個小故事：在一次咨詢會議上，我挑戰(zhàn)了 Yoshua，認為報告過多關(guān)注大語言模型的風(fēng)險，而忽略了基于規(guī)則的推理和人工智能大腦的風(fēng)險。Yoshua 認為這可能是個人偏見。我沒有被說服。但報告后期版本改為關(guān)注通用人工智能。

這說服了我，因為基于規(guī)則的推理和人工智能大腦目前主要不涉及通用人工智能。但這仍然是未來可以改進的地方，即當(dāng)基于規(guī)則的推理與具有自反性推理的大型語言模型結(jié)合時，可能出現(xiàn)不可預(yù)測性，帶來更危險的趨勢。這可以留到下一個版本討論。

Nuria Oliver：我想強調(diào)，監(jiān)管不是創(chuàng)新的阻礙。糟糕的監(jiān)管可能阻礙創(chuàng)新，但監(jiān)管本身不是。重要的是區(qū)分技術(shù)發(fā)展和進步。并非所有技術(shù)發(fā)展都有利于進步。監(jiān)管的作用是引導(dǎo)技術(shù)發(fā)展，使其真正促進進步。這也可能取決于社會文化背景。

我們現(xiàn)在面臨的挑戰(zhàn)，包括 Yoshua 和我參與編寫通用人工智能模型行為準(zhǔn)則，是如何確保《人工智能法案》的實際實施成為良好的監(jiān)管范例，既不阻礙創(chuàng)新，又能將創(chuàng)新引導(dǎo)到符合歐洲核心價值觀的方向。

Yoshua Bengio：我認為你的問題隱含著一個常被提及的擔(dān)憂，即國家間的競爭。有人認為，如果我們因為謹慎而放慢腳步，或者因為監(jiān)管可能拖慢速度，其他國家就會超越我們。

我認為這是一種誤導(dǎo)。我們需要考慮競爭，事實上公司和國家之間都存在競爭。但正如之前討論風(fēng)險時所說，風(fēng)險種類繁多。我們不能只關(guān)注一種，比如其他國家的惡意利用。這可能是每個國家都在擔(dān)心的。

但在其他風(fēng)險面前，我們都在同一條船上。歷史上，當(dāng)對立的人們意識到共同目標(biāo)時，就能找到解決方案。我們可以簽署國際條約，并找到驗證方法。我認為這是擺脫危險競爭的唯一途徑。

Yi Zeng：我補充一點 Yoshua 的觀點。也許不需要全世界都發(fā)展通用人工智能，但需要全球合作解決人類可能面臨的災(zāi)難性風(fēng)險。這是人工智能安全面臨的全球性挑戰(zhàn)，關(guān)系到每個人。我不認為僅靠一個國家能解決世界人工智能安全問題，特別是生存風(fēng)險。我們談?wù)撋骘L(fēng)險和應(yīng)對準(zhǔn)備還不夠。請記住，即使我們很快擁有通用人工智能，能在 10 年內(nèi)解決生存風(fēng)險問題嗎？可能來不及了。

Nuria Oliver：我想快速評論。我不認為我們很快會擁有通用人工智能。現(xiàn)在的情況是，我們改變了通用人工智能的定義。如果通用人工智能是指擁有與人類智能相當(dāng)?shù)娜斯ぶ悄埽覀冞€差很遠。我不同意我們即將接近通用人工智能的說法。我們只是為了方便改變了定義，將通用人工智能等同于通用人工智能模型的能力。

Yi Zeng：對，沒錯。通用人工智能作為工具，與人類水平的通用人工智能截然不同。盡管如此，我們?nèi)孕铻橥ㄓ萌斯ぶ悄芤约皾撛诘母叨炔豢深A(yù)測性做好準(zhǔn)備。

圓桌討論| DeepSeek vs OpenAI，池里的其他魚遭殃了

對話嘉賓

Yoshua Bengio（深度學(xué)習(xí)三巨頭之一，圖靈獎得主）蒙特利爾大學(xué)正教授，Mila 創(chuàng)始人兼科學(xué)主任

Philippe Aghion法蘭西學(xué)院和歐洲工商管理學(xué)院教授、 倫敦經(jīng)濟學(xué)院客座教授，計量經(jīng)濟學(xué)會和美國藝術(shù)與科學(xué)院院士

Erik Brynjolfsson斯坦福人類中心人工智能研究所教授，斯坦福數(shù)字經(jīng)濟實驗室主任

Danielle Allen 哈佛大學(xué)詹姆斯-布萊恩特-科南特大學(xué)教授

主持人Alice Albizzati Revaia 基金創(chuàng)始合伙人

以下是這場閉幕對話的演講實錄：

主持人：感謝各位參加閉幕討論。我們這次討論的主題是“從構(gòu)建人工智能，到生活在人工智能構(gòu)建的世界中”。我想先請教Erik關(guān)于變革性人工智能的問題，你深入研究了人工智能對社會經(jīng)濟的影響。你如何看待人工智能正在改變我們的世界，以及我們正在建設(shè)的世界？Erik Brynjolfsson：我們正在進入未知的領(lǐng)域。Philippe在他之前的演講中指出，我們很難獲得關(guān)于未來的數(shù)據(jù)。因此，在討論未來時，我們確實面臨挑戰(zhàn)。Yoshua也提到，我們正在進入非常難以預(yù)測的領(lǐng)域。 盡管如此，我確實認為有些部分是可以預(yù)見的。而且我認為，人工智能這項基礎(chǔ)技術(shù)變得更加強大幾乎是不可避免的。即使是每周，我都會看到一些我意想不到的、令人驚訝的事情。我想即使是 Yoshua——你也會感到驚訝，對嗎？

Yoshua Bengio：我確實挺驚訝的。

Erik Brynjolfsson：是的，我在人工智能領(lǐng)域的一些非常聰明的同事也這樣告訴我，他們一直對最近的一些進展感到驚訝。 現(xiàn)在，如果你采取 Philippe 和我提到的那種基于任務(wù)的方法，你很容易看到，越來越多的任務(wù)將由人工智能完成，尤其是從認知任務(wù)開始，然后越來越多地擴展到一些體力任務(wù)。我原本以為體力任務(wù)需要更長的時間才能實現(xiàn)，但我在機器人領(lǐng)域的朋友說，實際上，現(xiàn)有技術(shù)的一些突破對于創(chuàng)建機器人自主系統(tǒng)非常有幫助。 這樣一來，人類所做的許多任務(wù)就開始可以被替代。我不認為人類身上有什么神奇的火花是永遠無法復(fù)制的。我認為最終，我們是由原子構(gòu)成的，它們也是由原子構(gòu)成的，理論上它們可以覆蓋很多領(lǐng)域。我們可以做一個思想實驗，假設(shè)存在一臺機器可以完成人類可以做的所有思考和體力任務(wù)，那意味著什么呢？ 那我們就會進入一個非常不同的世界，這也是變革性人工智能經(jīng)濟學(xué)議程的一部分。我們可以想象，這很可能會帶來更高的生產(chǎn)力，這當(dāng)然很好，但我也向你們展示過，這并不一定意味著每個人都能從中受益。我們需要想出一些分配利益的方法。我們需要思考，是否有些東西我們?nèi)匀粫湟暼祟惖膬r值？例如，我更喜歡看人類打籃球、網(wǎng)球，甚至是下象棋，而不是看機器做這些事。所以，可能有些內(nèi)在的吸引力，也可能有些任務(wù)是這樣的。 我認為最大的挑戰(zhàn)實際上將圍繞權(quán)力展開。當(dāng)我們不再擁有勞動力時，我們的議價能力就會喪失，迫使社會給予我們一些補償。例如，如果不付錢給農(nóng)民，或者不付錢給工廠工人，或者不付錢給教授，你就得不到他們的產(chǎn)出。但在未來，我們將不再擁有這種杠桿。Philippe Aghion：我認為人工智能是一種工具，它將使我們能夠做更多的事情。這是一方面。另一方面，我提到過，繁榮和幸福是技術(shù)和制度共同作用的結(jié)果。誰來做制度改革？難道我們認為只有人工智能會改變競爭政策，建立彈性安全制度？這些都是社會性的事情，是社會運動決定的。我們知道，沒有制度的技術(shù)，將無法帶來我們想要的繁榮。因此，我在很多方面都能看到，人類干預(yù)和社會運動將更加重要。以及公民社會、政府、人類的判斷力，還有創(chuàng)新。 此外，我一直在思考一個問題。機器擅長處理和分析信息，甚至能做到超出我們想象的程度。但是，生活中總會遇到這樣的時刻：我們需要徹底推翻過去的舊方法，啟用全新的思路。也許機器也能做到類似“轉(zhuǎn)變思路”的事情，但這背后需要的是更深層的判斷力和直覺。 有些事情，終究需要人來完成。就算機器能處理所有的事情，但有時我們會憑直覺感到不對勁，或者意識到某些方面必須要改變。我對此表示懷疑。我仍然認為，在這些關(guān)鍵領(lǐng)域，人類的價值在于我們的判斷力和直覺。這體現(xiàn)的是人與機器的互相配合，而不是機器完全取代人類。Yoshua Bengio：我做幾點評論。我認為將人工智能視為工具是大多數(shù)人的設(shè)想，你說得對，這應(yīng)該是我們的目標(biāo)。只要這些工具以有益的方式使用，而不是過度擾亂我們的社會，我們必須引導(dǎo)它們，不要過度擾亂我們的社會。但實際上，這不是公司發(fā)展的方向。他們發(fā)展的方向是智能體（Agent）。換句話說，是自主的實體，它們可以執(zhí)行任務(wù)，不僅僅是幾次互動或回答幾個問題，而是可以像人類一樣，持續(xù)幾天甚至幾周地執(zhí)行一項任務(wù)。 那么，在那個時候，將這些實體視為工具就有些一廂情愿了，因為它們有自己的目標(biāo)，它們會自主選擇如何實現(xiàn)這些目標(biāo)，更糟糕的是，現(xiàn)在我們不知道如何控制它們，以至于它們不會產(chǎn)生自我保護的目標(biāo)，就像我之前提到的那樣——將它們視為工具只是一種美好的愿望。我們需要確保它們?nèi)匀皇枪ぞ摺ｊP(guān)于經(jīng)濟學(xué)，我不是經(jīng)濟學(xué)家，但我認為非常重要的是，我們要展望未來，并提出這樣的問題：不要去構(gòu)想人工智能現(xiàn)在是什么樣子（或者三年前、五年前是什么樣子），我們應(yīng)該構(gòu)想的是，人工智能達到與人類基本相同的認知能力時，它會是什么樣子？順便說一句，直覺是人工智能已經(jīng)擅長的東西，知識也是它非常擅長的東西。目前，我們在規(guī)劃和推理方面看到了進步和差距，在過去的幾個月中，我們在這方面看到了很大的進步，而且這種進步還將繼續(xù)下去。

因此，目前尚不清楚我們將走向何方，但以我們現(xiàn)在對人工智能的理解，例如將其視為電腦或筆記本電腦，根本不足以應(yīng)對未來的發(fā)展，這些機器可能和我們一樣聰明，這可能在幾年或幾十年內(nèi)就會實現(xiàn)，我們真的不知道。

Danielle Allen：我認為我們正在經(jīng)歷一場范式轉(zhuǎn)變。我們對范式轉(zhuǎn)變的認識是，它總是來自于需要解決的難題，來自于先前范式中存在的問題，以及與潛在的主流思想的競爭關(guān)系。因此，我們不需要預(yù)見未來，我們可以創(chuàng)造未來，我們將通過競爭的過程來創(chuàng)造未來。Yoshua，你期望人工智能在人類生活的各個認知和身體特征方面都非常出色，但你沒有提到人性的社會、情感和關(guān)系方面，而這正是 Philippe 在決策性質(zhì)的討論中所暗示的。因此，我認為真正重要的是要溝通的是，我們正在世界上看到的不同的技術(shù)范式，實際上也是不同的經(jīng)濟和社會范式，它們對我們?nèi)绾巫龀鲞@些社會決策有著不同的答案。 因此，有一種范式認為，也許我們會有一個仁慈的獨裁者——坦誠地說，我認為 OpenAI 有點朝著這個方向發(fā)展。而我的觀點是，我們不應(yīng)該僅僅被動接受這種可能性。我們有選擇。我們可以做社會工作，做關(guān)系工作，做政策工作，來引導(dǎo)技術(shù)，并發(fā)展支持人類繁榮的范式。但這再次印證了我演講的題目，現(xiàn)在是做出選擇的時候了，因為這不是關(guān)于預(yù)見未來，而是關(guān)于真正選擇未來。Yoshua Bengio：我可以補充一點嗎？我完全同意你的觀點。影響未來，使我們走向人工智能成為工具，并用于所有人福祉的世界，并且所有生產(chǎn)力收益都得到重新分配，這不會僅僅通過讓市場力量和國家之間的競爭像往常一樣運作來實現(xiàn)。因為目前的競爭，正在走向最容易被取代的崗位，例如，那些處境不太好的人可能不容易找到另一份工作。競爭正在轉(zhuǎn)向使人工智能更強大，而不是更安全，而不是更道德地行動。我認為，我們可以用人工智能構(gòu)建一個更美好的世界，但這必須是有意識的，而不是放任自流。Danielle Allen：這是一個非常重要的觀點。我需要澄清一下我所說的競爭是什么意思，因為實際上我指的不是市場競爭，也不是通常使用的術(shù)語。而是智識上的競爭。這才是我們真正需要的。除非我們圍繞范式本身進行智識上的競爭，否則我們實際上無法進入另一個范式。Erik Brynjolfsson：我想呼應(yīng) Danielle、Yoshua 和 Philippe 都強調(diào)的觀點——不是人工智能將要做什么，而是我們將用人工智能做什么。因此，記者最常問的問題是：人工智能將對就業(yè)造成什么影響？人工智能的未來會怎樣？我認為我們必須真正重視這種意向性。人工智能是一種工具，至少目前是這樣，而且它正變得越來越強大。而根據(jù)定義，工具越強大，我們改變世界的力量就越大。 拿起一根矛，扔向懸崖，它可能會留下一個小小的凹痕。但有了機關(guān)槍，有了炸彈，有了推土機——擁有的力量越大，你就越能真正改變世界。

現(xiàn)在我們擁有了一些最強大的技術(shù)，這可能是有史以來最強大的技術(shù)，這意味著，世界未來會變成什么樣，很大程度上取決于我們怎么用這些技術(shù)。

所以，我們必須認真想想，我們到底想要什么？現(xiàn)在大家花在思考“智識競爭”上的時間還遠遠不夠，更重要的是要思考，我們最看重哪些價值？我覺得我們現(xiàn)在有點像在盲目地往前沖，被技術(shù)發(fā)展的浪潮推著走。我們需要停下來好好想想，這里的“我們”指的是所有人，因為這件事關(guān)系到我們每一個人。我們要一起思考，在新技術(shù)塑造的世界里，我們希望哪些價值觀能被發(fā)揚光大。

總之，如果我們只是像往常一樣被動地等待，結(jié)果很可能不會好。我們想要的好結(jié)果，需要我們付出更多努力去構(gòu)建。創(chuàng)造有價值、復(fù)雜美好的事物，肯定比搞砸事情要難得多。幸運的是，在人類歷史的大部分時間里，我們都還挺擅長創(chuàng)造的——但破壞總是比建設(shè)要快得多。

主持人：如今，美國在人工智能的布局很明顯，中國則出現(xiàn)了 DeepSeek。顯然，法國和歐洲也有非常強烈的雄心。我想聽聽 Philippe 從法國和歐洲的角度，以及人工智能委員會的角度，對企業(yè)以及社會，在應(yīng)對這一挑戰(zhàn)方面所承擔(dān)的關(guān)鍵責(zé)任有何看法。Philippe Aghion：首先是要將人工智能普及到經(jīng)濟領(lǐng)域。因此，我們認為，我們需要加強人工智能領(lǐng)域的研究。我們有杰出的數(shù)學(xué)家、計算機科學(xué)家，但他們在法國的研究卻很薄弱。因此，我們需要，我們之前的一位研究部長曾試圖削減 8 億歐元的預(yù)算，幸運的是，新任研究部長正在糾正這一做法，這真是太好了。然而，我們的研究經(jīng)費已經(jīng)很緊張，他們還想進一步削減預(yù)算。因此，我們需要在研究方面有一個例外，一個特殊的例外。

但我們也需要在經(jīng)濟領(lǐng)域、企業(yè)中普及人工智能，因為很大一部分是企業(yè)對人工智能的采用。因此，這需要公共投資。同樣，我們希望在學(xué)校和大學(xué)的每個專業(yè)都引入人工智能。因此，要普及人工智能，需要進行巨大的投資。我們需要投資于計算能力，本地計算能力，以便為新企業(yè)提供訪問權(quán)限，這不僅使競爭對新進入者更加友好，而且也使他們更容易獲得計算能力。這就是公共和私人干預(yù)發(fā)揮作用的地方。這些都是我們真正需要關(guān)注的重點。競爭固然是主要威脅，但公共干預(yù)在普及計算能力和人工智能方面也至關(guān)重要。 歐洲的情況尤為重要，我想重點談?wù)剼W洲。歐洲正在落后于美國。我們看到美國在高科技前沿創(chuàng)新方面領(lǐng)先，而歐洲主要處于中等技術(shù)增量創(chuàng)新階段。我們在歐洲錯失了 IT 革命。我們不想再錯失人工智能革命。為什么？因為我們沒有產(chǎn)生革命的生態(tài)系統(tǒng)。歐洲的問題在于，歐洲總是在緊急情況下才團結(jié)起來，我們需要一個真正的單一市場，我們需要一個真正的金融生態(tài)系統(tǒng)，我們需要真正的歐洲創(chuàng)新政策、產(chǎn)業(yè)政策和創(chuàng)新政策，才能使我們達到那些正在大量投資的國家的水準(zhǔn)。 而且我還不確定歐洲是否能夠做到這一點。問題是，我們是否要讓歐洲 20 個國家都這樣做？我們是按最低標(biāo)準(zhǔn)來做，還是建立意愿聯(lián)盟？我認為在人工智能方面，我們應(yīng)該與那些想做事的人合作，而不是與那些不想做事的人合作。我們需要一種新的動力來喚醒歐洲，否則我們將淪為無足輕重的角色，而中國正在崛起，美國仍保持領(lǐng)先地位，歐洲卻在衰落，這令人深感擔(dān)憂。

Yoshua Bengio：我想補充一點關(guān)于從經(jīng)濟角度來看微不足道的問題。我不是經(jīng)濟學(xué)家，但我認為有些簡單的事情我可以預(yù)見，這些事情是合理的。當(dāng)我們達到超級智能系統(tǒng)時，從經(jīng)濟角度來看，你們談到了就業(yè)問題，但還有另一個問題，那就是我可以從聲明中看到，控制這些系統(tǒng)的人——比如 OpenAI，他們不會繼續(xù)僅僅出售對其人工智能的訪問權(quán)限。他們會提供對低級人工智能的訪問權(quán)限。他們會保留真正強大的那些人工智能供自己使用，他們會建立公司，這些公司將與現(xiàn)有的非人工智能系統(tǒng)競爭，他們基本上會摧毀所有其他沒有這些超級智能系統(tǒng)的國家的經(jīng)濟。所以，Philippe 剛剛說這不是生存危機，但我認為對于那些沒有達到這種人工智能水平的國家來說，這確實是生存危機，而且這是一個緊急情況，因為即使有意愿聯(lián)盟，也至少需要幾年的時間才能彌合這一差距——但這又確實是可以彌合的。因為你看，DeepSeek 是一個為期兩年的項目。所以我認為現(xiàn)在完全來得及。

主持人：我也同意這是可行的。我們還需要增加大量的資金才能實現(xiàn)這一目標(biāo)。關(guān)于構(gòu)建在人工智能之上的世界。目前人們擔(dān)心的問題之一是，無法檢查個人數(shù)據(jù)是否被用于訓(xùn)練數(shù)據(jù)集。那么，我們?nèi)绾尾拍鼙Ｗo創(chuàng)意不被未經(jīng)作者同意就成為訓(xùn)練集的一部分？如果生成的創(chuàng)意受到現(xiàn)有作品的啟發(fā)，作者身份是否仍然存在？Erik Brynjolfsson：在美國，如今存在很多困惑。公司擔(dān)心使用大語言模型，因為他們不確定自己是否侵犯了不同的版權(quán)，而且，現(xiàn)在，具有諷刺意味的是，OpenAI 正在起訴 DeepSeek，理由是 DeepSeek 可能使用了它的一些數(shù)據(jù)，但《紐約時報》也在起訴 OpenAI。我不知道 DeepSeek 是否已經(jīng)起訴《紐約時報》。但是，許多公司現(xiàn)在都在互相起訴，試圖確定誰擁有權(quán)利。

部分問題當(dāng)然在于，這些法律是在大語言模型或任何這些技術(shù)出現(xiàn)之前制定的。所以不是很清楚。版權(quán)實際上禁止你制作完全相同的副本或非常相似的東西。因此，大語言模型公司辯稱，我們并非在制作與輸入內(nèi)容完全相同的副本，而是在生成原創(chuàng)內(nèi)容。

盡管如此，版權(quán)的目的是為創(chuàng)造有價值的內(nèi)容提供激勵。它在美國憲法中，我認為其他國家也有類似的規(guī)定。因此，如果你的目標(biāo)是鼓勵作者寫書、寫詩和進行原創(chuàng)調(diào)查報道，你需要為他們提供激勵，否則如果他們沒有激勵，他們就不會這樣做。主持人：作為總結(jié)，我很想聽聽各位對人工智能以及研究和進步方面最令人興奮的機遇有何看法。Yoshua Bengio：機遇在于，人工智能最令我興奮的積極方面是其在科學(xué)發(fā)現(xiàn)中的應(yīng)用。事實上，人們過多地考慮利用人工智能來構(gòu)建產(chǎn)品。但是，人工智能對我們社會的最大變革將間接地發(fā)生，因為人工智能被用作設(shè)計以前不存在的新技術(shù)的工具。這涉及到所有領(lǐng)域。科學(xué)研究非常昂貴。我們有可能加速研究，降低成本，用更少的投入實現(xiàn)更多成果。

當(dāng)我們繼續(xù)沿著這條道路前進時，但這必須再次是有意識的。這不一定是商業(yè)壓力或利潤最大化最感興趣的事情。最終也可能如此，但目前許多研究實際上是在大學(xué)里進行的，而這些機構(gòu)缺乏足夠的計算能力，也難以留住人才。 因此，這是一個我們需要政府投資的案例，在人工智能的各個應(yīng)用領(lǐng)域進行登月計劃，而且這并不總是需要像超大型模型那樣。盡管我確實認為，科學(xué)的根本進步也將來自于這些最先進的人工智能。如果我們能很好地引導(dǎo)它們，順便說一句，我們不需要這些發(fā)現(xiàn)是由完全自主的人工智能做出的。我們只需要像科學(xué)家那樣工作的人工智能系統(tǒng)。換句話說，基于他們擁有的數(shù)據(jù)，了解世界如何運作，提出假設(shè)，提出實驗，但無需設(shè)定自身的目標(biāo)和長期目標(biāo)。

Erik Brynjolfsson：首先，我非常贊同 Yoshua 所說的關(guān)于科學(xué)發(fā)現(xiàn)的觀點。這確實是所有經(jīng)濟增長和我們生活水平提高以及應(yīng)對許多挑戰(zhàn)的驅(qū)動力。而且越來越多的系統(tǒng)專門用于幫助科學(xué)發(fā)現(xiàn)，可以追溯到 Alphafold，這些都是基于工具的系統(tǒng)，不一定是自主的，越來越多的科學(xué)家開始使用它們。 比方說，我鼓勵你們所有人都開始使用Deep Research和其他一些工具。大約四五個月前，我發(fā)現(xiàn)這些工具還不太有用。但現(xiàn)在在它們真正幫助我構(gòu)建事物方面的能力方面，已經(jīng)發(fā)生了翻天覆地的變化。我承認，有一次我有點惱火，當(dāng)時我以為我有一個原創(chuàng)的想法，我正在思考它，然后我請求工具幫助我，它吐出了很多我一直在私下思考的東西。我給它提供了我的論文，所以它可能有點先發(fā)優(yōu)勢。但令人驚訝的是，它不僅能夠綜合大量事物，而且還能涌現(xiàn)某種原創(chuàng)性思維。 我想強調(diào)的第二件事是，繼續(xù)利用人工智能與人類密切合作的機會。我認為人們對這一點的強調(diào)還不夠，這是一個非常具有破壞性的方向，無論是在它能產(chǎn)生的產(chǎn)出方面，還是在價值分配方面。

當(dāng)我與管理者交談時，我花了很多時間與 CEO 們交談，似乎有一種非常懶惰的想法，即我們有一項任務(wù)，我們將讓機器來完成這項任務(wù)并取代人類。但他們幾乎總是感到失望，因為事實證明，讓機器 100% 完成某些工作或任務(wù)要困難得多。你通常可以讓機器完成 80%、90% 甚至 99% 的工作。但是，正如自動駕駛汽車領(lǐng)域的案例，最后一英里是最具挑戰(zhàn)性的，這在許多任務(wù)中都是如此。

因此，盡管在你們的一個問題中，我談到了人工智能可以做大多數(shù)事情的假設(shè)性未來，但我認為我們還有很長的路要走，我不知道有多長，在很長一段時間內(nèi)，它會像下象棋一樣，在許多任務(wù)中，起初只有人類才能完成，然后機器可以提供幫助。然后在某個時候，機器可以比人類做得更好，但即使在那之后，還會有一段時間，人類和機器的組合可以擊敗單獨的機器。現(xiàn)在，對于象棋來說，這個窗口最終關(guān)閉了，但是象棋，當(dāng)你思考它時，與現(xiàn)實世界的復(fù)雜性相比，它是一個非常簡單的棋盤。因此，對于大多數(shù)其他任務(wù)，我認為我們將以更長的速度經(jīng)歷這些不同的階段。Danielle Allen：除了對人工智能的力量感到興奮之外，我們也應(yīng)該對我們?nèi)祟惖牧α扛械脚d奮。為此，我百分之百同意 Yoshua 關(guān)于分散管理超級智能（如果它出現(xiàn)的話）的觀點。因此，也許我們應(yīng)該也給自己提出一個社會技術(shù)挑戰(zhàn)，即我們?nèi)绾螢槌壷悄芙⒅卫眢w系。也許應(yīng)該做的事情是現(xiàn)在就開始制定一項條約，其中包含這樣的承諾：如果并且當(dāng)超級智能存在時，在我們它出現(xiàn)之前，我們都已同意它將成為人類的共同財產(chǎn)，就像月球一樣，然后以此為基礎(chǔ)繼續(xù)前進。在超級智能真正出現(xiàn)之前，現(xiàn)在是達成這樣一項條約的最佳時機。