近年來，隨著人工智能（Artificial Intelligence， AI）技術的深化發展，大模型（Large Model，也稱基礎模型，即Foundation Model）技術應運而生。特別是2022年11月底OpenAI發布ChatGPT，一時間引起國內外強烈反響，如同2016年AlphaGo圍棋AI戰勝人類頂級棋手李世石一樣，全社會對AI模型所能達到的智能化水平產生了全新認知。本報告首先對ChatGPT發展情況進行概要介紹和對比分析；在此基礎上，分析提出大模型發展帶來的啟示和思考，特別是對決策智能大模型發展進行分析研判；最后，對當前大模型技術應用提出若干發展展望。

一、ChatGPT相關介紹

（1）ChatGPT總體情況

ChatGPT是由OpenAI于2022年11月30日上線的通用語言處理平臺，能以自然語言為交互方式，實現問題回答、文案撰寫、文本摘要、語言翻譯、計算機代碼生成等任務。自發布以來，ChatGPT引起國內外廣泛關注，成為“刷爆朋友圈”的現象級應用。據瑞銀集團（UBS）發布的研究報告顯示，ChatGPT在2023年1月份（發布后2個月）的月活躍用戶數已達1億，成為史上用戶數增長最快的消費者應用；相比之下，TikTok歷經9個月才實現月活用戶數破億，Instagram為30個月，Meta為54個月，Twitter為90個月。此外，ChatGPT使人工智能內容生成（AI Generated Content， AIGC）技術成為新的熱點。

本質上來講，ChatGPT是一個大語言模型（Large Language Model， LLM）， 這是一個概率模型，基于上下文輸入來度量下一個詞匯出現的可能性，即完成“詞語接龍”。語言模型技術始于上世紀70年代，ChatGPT是OpenAI自2018年推出生成式預訓練（Generative Pre-training， GPT）模型［1］，在經歷過GPT-1、GPT-2、GPT-3、InstructGPT等多代模型迭代后，在GPT-3.5基礎上發展出來的產物（OpenAI于3月14日發布了基于GPT-4的改進版［2］，擁有更強大的語言處理能力）。進一步拆解其核心技術要素，可以認為，ChatGPT并非AI原始理論技術創新產生的重大突破，而是產品思維驅動的重大集成創新成果，是OpenAI堅持生成式AI、長期技術積累，量變產生質變的重大成果，同時其強大的自然語言處理能力，也是邁向通用人工智能（Artificial General Intelligence， AGI）的階段性成果［3］。

（2）ChatGPT技術發展脈絡

自然語言處理技術自誕生以來，先后經歷了4種主要任務處理范式［4］。第一種是非神經網絡下的完全監督學習，由人工設計一系列特征模板輸入模型，模型性能高度依賴所設計的特征和專家知識；第二種是基于神經網絡的完全監督學習，由人工進行數據標注，神經網絡用于自動特征提取；第三種是“預訓練-精調”（Pre-train and Fine-tune）范式，首先在超大規模文本數據集上基于自監督方式預訓練一個具備較強泛化能力的通用模型，然后再根據下游任務特點對模型進行針對性微調，從而進一步減少人工參與；第四種是預訓練結合提示（prompt）學習范式，在得到預訓練模型后，使用時不再進行模型微調，而是將對任務的描述以提示方式輸入模型，模型自動適配下游任務。

如前所述，ChatGPT經歷了多輪模型迭代。GPT-1于2018年被提出，是在Google于2017年提出的變換器（Transformer）模型［5］基礎上發展起來的大語言模型，擁有1.17億參數，采用“預訓練-精調”范式，初步具備了一定泛化能力。GPT-2于2019年被提出，擁有15億參數，OpenAI希望徹底無需針對下游任務微調而實現模型適配，因此采用了提示學習范式，實現了在零樣本或小樣本下良好的內容生成和表達能力。GPT-3延續GPT-2的方式，進一步將參數規模擴大到1750億，并使用45TB語料數據進行訓練，性能已相當強大，可完成自然語言處理的絕大多數任務。在OpenAI放棄模型微調的同時，Google堅持采用模型微調技術，并于2021年9月提出采用指令微調（Instruction Fine-Tuning， IFT）技術的大模型FLAN［6］，其在許多任務上的表現超越了GPT-3。為此，OpenAI重新采用微調，即在GPT-3基礎上增加IFT技術，于2022年初推出InstructGPT［7］，由于混合了人類指令，InstructGPT在理解人類意圖和擬人化表達方面已非常突出。為進一步提升模型邏輯推理能力，OpenAI采用159 GB的Python代碼語料在GPT-3上進行訓練，產生了具有強大代碼理解/生成能力和邏輯推理能力的模型Codex［8］。最后，InstructGPT與Codex相結合，形成了GPT-3.5的基礎架構，即ChatGPT的基礎模型。

ChatGPT的另一關鍵技術是人類反饋的強化學習（Reinforcement Learning with Human Feedback， RLHF），即人類標注員對模型的一系列問答結果進行評分，以此訓練一個符合人類判斷的獎勵模型，基于此獎勵模型采用近端策略優化（Proximal Policy Optimization， PPO，2017年由OpenAI提出［9］）強化學習算法進行預訓練后的模型精調。試驗表明，RLHF能極大提升模型表現，僅采用13億參數的模型即表現出超越原本擁有1750億參數但未采用RLHF的微調模型或原始的GPT-3模型。OpenAI聯合創始人John Schulman認為，RLHF才是ChatGPT的秘密武器。而RLHF技術于2017年即由OpenAI聯合DeepMind及Google Brain團隊提出［10］。

（3）ChatGPT的局限

當前，ChatGPT展現出通用的意圖理解能力（大語料數據訓練、人類指令微調、人類反饋的強化學習）、強大的連續對話能力（采用8192個語言單元進行顯式建模）、突出的代碼生成能力（采用代碼和文本混合學習）等特點，但仍存在如下局限性：

缺乏概念構建能力。以ChatGPT為代表的系列大模型本質上仍是一個黑盒概率模型，即使能給出令人滿意的結果，但內在并未形成真正的概念范疇，無法進行知識邏輯推演和解釋，尚無法形成對真實世界的本質認知。

缺乏自主學習能力。以ChatGPT為代表的系列大模型基于靜態數據驅動的學習范式，模型訓練成本高，理論上無法實現新知識的快速學習，即當人類輸入增量知識后，模型無法及時實現新知識的學習。

缺乏實體交互能力。ChatGPT等大模型主要以文本為核心處理對象，即使是涵蓋圖、文、音的多模態大模型也仍屬感認知范圍，缺乏與包含強不確定性和開放邊界元素的真實物理世界的交互和決策控制能力。

缺乏垂域泛化能力。ChatGPT等大語言模型在通用語境下已展現出強大能力，但在各垂直細分應用領域，大模型的性能表現仍需提升，特別是對于模型準確性要求嚴格的應用，此外還需攻克終端資源約束下的大模型部署問題。

二、大模型核心價值與發展啟示

（1）大語言模型的核心價值

如果說機器學習實現了學習算法的統一，深度學習實現了模型架構的統一，那么大模型則實現了模型本身的統一［11］。大語言模型是當前一輪大模型的成功典范，其本質是以自然語言理解為內核，構建起人-機間互理解、互操作的高效、高性能媒介通道。因此，直觀上來看，與人機交互、人機協同、人機融合最相關的領域將最直接體現大模型的應用價值。正向來看，大模型將人對世界的模糊、抽象認知轉化為可精確表達、高度量化的特征，供機器進一步計算、推演，解決人機高效交互協作問題。反向來看，大模型將機器高度精確卻難以窺探的黑箱計算結果轉化為人可理解、可接受的形式進行呈現，解決AI的可解釋性問題。例如，大模型可對人的歷史經驗、判斷偏好、直覺認知進行精確理解，變成可供計算的特征表達；反過來，機器的推理計算過程及結果可以自然語言形式輸出，供人實時掌握情況并做進一步決策。

人機混合智能是AI的高級形態，而大語言模型展現出的通用性為我們粗淺地勾勒出通用人工智能的圖景，因此，大模型為邁向更高級形態的AI奠定了重要的階段性基礎。

（2）大模型發展帶來的啟示

應謹防關鍵領域技術突襲。當前，人工智能技術正以史無前例的速度自我迭代，據估計，AI領域約每3個月便會產生一種世界范圍內具有重大影響的主流算法。作為對比，傳統科學技術的迭代更新較慢，例如，當今全世界控制領域90%以上使用的比例-積分-微分（PID）控制器始于上世紀20年代；即使是迭代較快的集成電路領域，摩爾定律告訴我們，其迭代速度也大概為18-24個月。不久前，我們仍慨嘆市面上各種聊天機器人的智能水平較低，ChatGPT的橫空出世瞬間顛覆了這一認知。因此，在當前國際關系日益復雜的局勢下，我們應謹防關鍵領域對手的技術突襲，特別是當我們步入多方面并跑的“無人區”領域時，而AI的加速發展使得技術突襲的“黑暗森林法則”越來越成為可能。

應重新審視“人工”的作用。人工智能的發展離不開“人工”的參與，而隨著AI技術的迭代，“人工”所扮演的角色也在逐步更迭。早期的監督學習時期，人主要扮演數據標注角色，數據標注被認為是技術含量很低的工作，并一度出現了各種數據標注工廠。到了近些年發展出的指令學習，人不再簡單給出標簽數據，還需要按要求給出數據指令。而在RLHF中，人需要提供AI模型的輸出反饋，從而訓練一個良好的獎懲函數。在ChatGPT的代碼生成中，具有良好人工注釋的訓練代碼是其掌握推理編程能力的重要基礎。隨著AI 的發展，“人工”的作用越來越精細。例如，在智能指控領域，高度專業化的人工標注數據、人類指揮員經驗和人機混合訓練方式，可最大化發揮大模型作用，應提前進行部署。

應審時度勢迎接創新范式變革。近些年，AI正加速為其他學科內在發展提供顛覆性范式創新，例如，2020年的AlphaFold展現出驚人的蛋白質結構預測效率，2022年的AlphaTensor發現了迄今效率最高的矩陣乘法運算法則。AI為科學研究和技術創新范式帶來了全新機遇和挑戰，人工智能驅動的科學研究（AI for Science）也成為當前國際矚目的熱點方向，國家科技部、自然科學基金委也于今年3月聯合啟動了AI for Science專項部署。為此，應重新審視這一變局下的科技創新范式。例如，在智能指控領域，一是如何以智能技術先行帶動體系創新，如概念設計、戰法創新，二是重新梳理創新成果體系，重視算法等軟實力打造，以及大模型加持下的技術集成、模型訓練方式創新等。

三、決策智能大模型展望與思考

當前流行的ChatGPT等大模型主要聚焦在圖、文、音等媒體內容的感知理解層面，與之相對應，與指揮控制息息相關的智能認知與決策則是更具挑戰性的難題，決策智能大模型是否能快速實現并落地，成為當前廣受關注的話題。在此，對決策智能大模型研究現狀進行概述，并對其發展路徑提出相關思考。

決策智能大模型發展概況

隨著預訓練模型的興起，訓練一個可完成多種決策任務的智能體在近年來引起廣泛關注。DeepMind于2022年上半年提出能夠處理數百種任務的“通才”人工智能模型Gato［12］，融合了多模態和多任務，智能體可同時完成玩Atari游戲、生成圖像、和人類聊天、控制機器人手臂堆疊積木等不同模式的任務。但本質上，Gato是一種監督學習模型，可認為首先學會了各種任務，然后對相關能力進行集成，并未在真正意義上實現面向不同任務的能力遷移和自主學習。進一步，DeepMind在2023年初提出可在開放任務空間實現匹配人類適應能力的自適應智能體AdA（Adaptive Agent）［13］， 該模型基于DeepMind自研的開放任務環境XLand進行訓練，后者可在虛擬空間產生超過1040種開放任務，被視為可訓練通用智能體的游戲“元宇宙”。AdA的技術核心包括三方面：1）在一個巨大、平滑且多樣化的任務分布中進行元強化學習；2）一個參數化的基于注意力的大規模記憶結構策略；3）一個有效的自動課程學習機制，為智能體安排恰當的下一階段訓練任務。盡管訓練好的AdA模型可在零樣本或少樣本條件下完成測試任務，但本質上XLand中的任務具有高度相似性，且均為虛擬環境中的任務，當面向真實應用時，真實世界中本質開放性、強不確定性和大量建模細節將給模型帶來巨大挑戰。

決策智能算法的通用做法是智能體通過深度強化學習等方法，在虛擬空間中不斷與環境交互來學得策略，因此內容豐富的虛擬環境對于提高算法通用能力至關重要。當前，已有大量用于提升智能體決策能力的虛擬環境。OpenAI使用內容動態生成（Procedural content generation， PCG）技術開發的Procgen環境［14］，為算法在不同游戲任務下的泛化能力提供了一個測試基準。Facebook提出一個沙盒游戲的環境構建框架MiniHack［15］，可以由開發者手動搭建或系統隨機生成訓練環境。DeepMind搭建的3D多智能體協作和競爭開放環境XLand［16］，為具有強大環境適應性的多智能體算法訓練提供了多樣化任務空間。這些研究使得深度強化學習在逐步開放的環境中得以適用，而虛擬環境的重要性使得人工智能三要素“算法、算力和數據”在決策智能研究中變為“算法、算力和環境/模型”。但如前所述，上述環境的邊界仍為虛擬世界內的簡單邊界，無法覆蓋真實世界任務的復雜性。

因此，總體來說，相比感知智能大模型，決策智能大模型剛剛起步，且當面向真實環境時，模型的適用性將受到極大考驗。

決策智能大模型為何更具挑戰

相比于感知大模型，決策大模型更具挑戰，當前尚處于初步探索階段。究其本質原因，首先在于決策范式難以統一表達。感知大模型處理的對象相對具有統一的表達手段，例如圖像統一采用像素表達、文本統一采用編碼表達、語音統一采用聲頻信號表達，在統一進行信號級表達后即擁有了大模型統一處理的基礎；但決策問題千差萬別，有個體決策、也有群體決策，有抽象問題、也有現實問題，當前尚沒有對決策問題的統一建模、表達和處理范式。無論是Gato還是AdA，均采用大語言模型中的核心部件Transformer作為模型內核，這類模型在處理語言信號時表現優異，但在刻畫決策問題時的性能尚需進一步驗證。其次，決策是相比感認知更上層的任務，相對難度更大。當前大模型主要處理感認知問題，借助人機交互輔助人做決策，而決策智能則旨在讓機器自主決策，如單體與集群無人系統中的自主決策，任務本身難度更大。此外，同樣由于信號的可統一表達性，當前我們在圖、文、音領域已形成大量優質訓練樣本，理論上互聯網中一切可獲取到的數據均可用于訓練，相比之下，決策智能領域尚未建立類似數據樣本集。盡管強化學習等方法為無需樣本、而是從與環境的交互中獲取數據提供了有效手段，但隨之而來的環境建模合理性、準確性等問題產生了新的挑戰。

決策智能大模型發展思路

一是延續當前預訓練思路繼續深化研究。采用Transformer等基礎模型框架，這是一種在短期內極有可能快速見效的思路。大語言模型等預訓練大模型已經大獲成功，Gato、AdA等決策大模型也方興未艾，這類模型均采用預訓練思路，通過構建巨大的神經網絡模型、并在大量樣本上充分訓練來表征難以精確量化的內在推理邏輯。這種“大力出奇跡”的范式雖不夠“優美”，但ChatGPT產生的性能突變確實讓我們看到了這類大模型在復雜問題表達和求解上的能力，盡管當前階段尚有大量問題無法解釋而只能簡單歸結為巨大參數條件下的行為“涌現”。可以預見，這類范式將成為未來短期內的主流，且能夠在各垂直應用領域取得應用表現上的進展。一個亟待解決的難題是，如何保證在虛擬環境中訓練的智能體能夠在真實環境中表現良好，即實現虛擬向真實遷移（Simulation to Reality， Sim2Real），Sim2Real問題有多種解決路徑，其研究剛剛起步，是保障決策智能大模型實際落地的關鍵。

二是另辟蹊徑深入探索智能本質機理。這是一種需要長期探索、但有可能產生本質顛覆的思路。ChatGPT這類大模型盡管表現突出，但無法實現概念知識的自動提取和推理，這與人的認知邏輯具有顯著不同（盡管尚無法評判高低）。從本質來看，人類社會是建構在一系列概念范疇及其相互關系之上的，如在哲學基礎框架上，通過引入不同概念從而衍生出經濟學、法學等不同社會科學范疇，這與大參數表征、大數據訓練的大模型思路顯著不同。因此，如何綜合運用多學科理論分析工具，探索智能產生的本質（或階段本質）機理，是需要長期堅持的研究思路。堅持這一思路的必要性還在于，ChatGPT這類大模型的一個潛在風險在于，其“大力出奇跡”范式可能因短期內表現“過好”而“鎖死”某一學科的研究進展（暫且“夸張”地類比為三體世界中的“智子”），進而在長期來看阻滯其發展，因此我們應一方面高度重視大模型帶來的顛覆性變革，另一方面堅持百花齊放、繼續探索智能本質機理，并在各基礎領域做好相應理論和工程鋪墊。

四、大模型技術應用展望

大模型極大推動了科研范式創新和成果體系革新，其意義深遠、應用廣泛。在此僅拋磚引玉，提出幾方面展望。

（1）虛擬想定場景生成

強化學習等AI方法為不顯式依賴數據、而在與環境交互中實現智能進化提供了手段，“算法+算力+環境”成為這一范式的核心要素，因此虛擬環境的有效生成至關重要。大模型在商用領域推動了AIGC發展，相似地，在博弈推演領域，可依托大模型強大的內容生成能力，實現虛擬推演想定的場景生成。

（2）人機混合智能推演

大模型為人機自然、高效互操作、互理解提供了重要媒介，為人的經驗、偏好、直覺、常識等具有高度抽象和良好可解釋性的知識與機器可精確量化表達的數據驅動范式建立了相互融合的橋梁。研究人機高效混合推演方法，正向將人的經驗、偏好等轉化為機器指令，反向將機器的量化推理結果進行可解釋性表達，其本質是知識與數據兩類范式的協同驅動［17］。

（3）特定領域專用大模型

當前預訓練大模型在通用問題上已具備較強的認知推理能力，但由于缺乏訓練樣本，其在特定專用領域表現尚顯不足。為此，應超前布局，充分發揮理技融合體制優勢，融合科研部門、工業部門和各應用部門力量，研發面向特定領域的專用大模型。探索領域內的人工數據采集、標注方法，形成面向特定領域的大規模專用數據集，為大模型在特定智能領域應用奠定基礎。

（4）虛實遷移的決策智能

決策智能是當前指揮控制中的核心，深度強化學習等方法為智能體自主學習進化提供了有效手段，但由于其訓練是在虛擬環境中實現的，虛實遷移是當前技術手段的關鍵瓶頸。應發展從虛擬向實體遷移的博弈決策智能技術，拓展算法在應對不確定性和開放問題中的適用邊界，為大模型在真實物理環境中的魯棒應用提供關鍵支撐。

（5）大模型開放創新生態

開源開放是推動人工智能發展的重要手段。在開源方面，國外Pytorch、Tensor及國內大廠推出的系列開源平臺，為人工智能算法快速發展奠定了基礎；在開放方面，自2018年以來，我國在各細分行業認定了一大批人工智能開放創新平臺，旨在以數據、接口、服務等方式為學界、個人開發者、小微用戶提供AI模型便捷使用工具。而大模型的發展，將模型構建方法工具的統一推進到模型本身的統一，因此應以大模型為契機，重新梳理構建開放創新生態，形成既充分開放、又可賦能一大批應用的算法服務平臺，實現概念、技術先行，牽引體系智能發展的新范式。

審核編輯 ：李倩