10月26日-28日，第二十屆中國(guó)計(jì)算機(jī)大會(huì)(CNCC2023)在遼寧沈陽(yáng)舉辦，國(guó)內(nèi)外計(jì)算機(jī)領(lǐng)域的專家學(xué)者、科技領(lǐng)軍人才、企業(yè)代表共同探討計(jì)算及信息科學(xué)技術(shù)領(lǐng)域最新進(jìn)展和宏觀發(fā)展趨勢(shì)。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰在會(huì)上解讀文心大模型最新技術(shù)，闡述大模型產(chǎn)業(yè)模式。據(jù)了解，自文心一言3月發(fā)布至今，文心大模型4.0訓(xùn)練算法效率提升3.6倍，周均訓(xùn)練有效率超過(guò)98%，推理性能提升50倍。

王海峰認(rèn)為，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的基礎(chǔ)能力，這四項(xiàng)能力越強(qiáng)，越接近通用人工智能，而大語(yǔ)言模型具備了這四項(xiàng)能力，且越來(lái)越強(qiáng)，為發(fā)展通用人工智能帶來(lái)了曙光。

百度在3月16日發(fā)布知識(shí)增強(qiáng)大語(yǔ)言模型文心一言，目前文心一言的基礎(chǔ)模型已迭代到文心大模型4.0版本。知識(shí)增強(qiáng)大語(yǔ)言模型從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)優(yōu)勢(shì)。

例如在推理方面，通過(guò)大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識(shí)建模、多粒度語(yǔ)義知識(shí)組合以及符號(hào)神經(jīng)網(wǎng)絡(luò)，提升邏輯能力。此外，在輸入和輸出階段都進(jìn)行知識(shí)點(diǎn)增強(qiáng)。而在插件方面，通過(guò)數(shù)據(jù)驅(qū)動(dòng)、提示構(gòu)建，以及插件增強(qiáng)進(jìn)行場(chǎng)景適配，協(xié)同優(yōu)化。文心一言已上線百度搜索、覽卷文檔、E言易圖、說(shuō)圖解畫、一鏡流影等原生插件，擴(kuò)展了大模型能力邊界，更適應(yīng)場(chǎng)景需要。

此外，百度進(jìn)一步研制了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并一定程度上將思考過(guò)程白盒化，讓機(jī)器像人一樣思考和行動(dòng)，自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

王海峰表示，基于更強(qiáng)平臺(tái)、更優(yōu)數(shù)據(jù)、更好算法，我們訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過(guò)飛槳與文心的協(xié)同優(yōu)化，模型周均訓(xùn)練有效率超過(guò)98%，訓(xùn)練算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升，其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。

具體而言，在萬(wàn)卡算力上運(yùn)行飛槳平臺(tái)，通過(guò)集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評(píng)估閉環(huán)，充分釋放數(shù)據(jù)價(jià)值，并通過(guò)多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，大幅提升模型效果。

基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊，保證模型更好地與人類的判斷和選擇對(duì)齊。可再生訓(xùn)練技術(shù)通過(guò)增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

公開(kāi)數(shù)據(jù)顯示，文心一言面向全社會(huì)開(kāi)放一個(gè)多月，用戶規(guī)模達(dá)到4500萬(wàn)，開(kāi)發(fā)者5.4萬(wàn)，場(chǎng)景4300個(gè)，應(yīng)用825個(gè)，插件超過(guò)500個(gè)。飛槳和文心生態(tài)愈加繁榮，已凝聚800萬(wàn)開(kāi)發(fā)者，服務(wù)22萬(wàn)家企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建了80萬(wàn)個(gè)模型。

演講中，王海峰進(jìn)一步展示了文心一言的理解、生成、邏輯、記憶能力。文心一言精準(zhǔn)推薦了沈陽(yáng)的賞秋勝地，根據(jù)指令作了一首以“虎”為題，不出現(xiàn)“虎”字的詩(shī)，生動(dòng)表現(xiàn)了森林之王老虎的威猛形象。而在工作中，文心一言已經(jīng)成為“超級(jí)助理”，實(shí)現(xiàn)了IM對(duì)話智能總結(jié)、會(huì)議洞察和會(huì)議紀(jì)要實(shí)時(shí)生成、一鍵智能差旅等。據(jù)悉，目前這些功能已應(yīng)用于百度的工作流程中，助力員工提升工作效率。

面對(duì)大模型產(chǎn)業(yè)化的挑戰(zhàn)，王海峰表示，類似芯片代工廠模式，可以采用“集約化生產(chǎn)，平臺(tái)化應(yīng)用”的模式，即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)將模型生產(chǎn)的復(fù)雜過(guò)程封裝起來(lái)，通過(guò)低門檻、高效率的生產(chǎn)平臺(tái)，為千行百業(yè)提供大模型服務(wù)。目前，這一產(chǎn)業(yè)化路徑已在文心大模型產(chǎn)業(yè)實(shí)踐中得到驗(yàn)證，百度與各行業(yè)頭部企業(yè)、機(jī)構(gòu)共建了包括能源、金融、航天、制造、傳媒、城市、社科以及影視等行業(yè)大模型，正加速大模型產(chǎn)業(yè)化落地。