人工智能 | Bard | Chat GPT

深度學(xué)習(xí) | RLHF|ERNIE Bot

當(dāng)今社會是科技的社會，是算力快速發(fā)展的時代。隨著數(shù)據(jù)中心、東數(shù)西算、高性能計算、數(shù)據(jù)分析、數(shù)據(jù)挖掘的快速發(fā)展，大模型得到了快速地發(fā)展。大模型是“大算力+強(qiáng)算法”相結(jié)合的產(chǎn)物，是人工智能的發(fā)展趨勢和未來。目前，大規(guī)模的生態(tài)已初具規(guī)模。其可以實現(xiàn)從“手工作坊”到“工廠模式”的AI轉(zhuǎn)型。大模型通常在大規(guī)模無標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)某種特征和規(guī)則?；诖竽Ｐ烷_發(fā)應(yīng)用時，可以對大模型進(jìn)行微調(diào)，或者不進(jìn)行微調(diào)，就可以完成多個應(yīng)用場景的任務(wù)；更重要的是，大模型具有自監(jiān)督學(xué)習(xí)能力，不需要或很少需要人工標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，降低訓(xùn)練成本，從而可以加快AI產(chǎn)業(yè)化進(jìn)程，降低AI應(yīng)用門檻。

與傳統(tǒng)機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)是從數(shù)據(jù)中學(xué)習(xí)，而大模型則是通過使用大量的模型來訓(xùn)練數(shù)據(jù)。深度學(xué)習(xí)可以處理任何類型的數(shù)據(jù)，例如圖片、文本等等；但是這些數(shù)據(jù)很難用機(jī)器完成。大模型可以訓(xùn)練更多類別、多個級別的模型，因此可以處理更廣泛的類型。另外：在使用大模型時，可能需要一個更全面或復(fù)雜的數(shù)學(xué)和數(shù)值計算的支持。深度學(xué)習(xí)算法不需要像大模型那樣訓(xùn)練大量數(shù)量的模型來學(xué)習(xí)特征之間的聯(lián)系。深度學(xué)習(xí)算法是基于神經(jīng)元的，而大模型是利用大量參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。本文從大模型與深度學(xué)習(xí)方面入手，解決大模型是否是深度學(xué)習(xí)的未來的問題。

作為深度學(xué)習(xí)、人工智能領(lǐng)域的專家，藍(lán)海大腦液冷工作站支持多種算力平臺，通過超融合與虛擬化管理平臺可實現(xiàn)x86、ARM以及其他芯片架構(gòu)的多元異構(gòu)計算資源池化，并可根據(jù)業(yè)務(wù)特點實現(xiàn)計算資源的隨需調(diào)度和統(tǒng)一管理，實現(xiàn)異構(gòu)融合。同時，提供計算密集型、計算存儲均衡型、存儲密集型、邊緣型、AI型等多種機(jī)型，以滿足不同人工智能計算場景的需求，更加靈活高效。

大模型發(fā)展現(xiàn)狀

大模型（預(yù)訓(xùn)練模型、基礎(chǔ)模型等）是“大算力+ 強(qiáng)算法”結(jié)合的產(chǎn)物。大模型通常在大規(guī)模無標(biāo)注數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)某種特征。在大模型進(jìn)行開發(fā)應(yīng)用時，將大模型進(jìn)行微調(diào)，如對某些下游任務(wù)進(jìn)行小規(guī)模標(biāo)注數(shù)據(jù)的二次訓(xùn)練或不進(jìn)行微調(diào)就可以完成。遷移學(xué)習(xí)是預(yù)訓(xùn)練技術(shù)的主要思想，當(dāng)目標(biāo)場景數(shù)據(jù)不足時，先在數(shù)據(jù)量大的公開數(shù)據(jù)集上訓(xùn)練基于深度神經(jīng)網(wǎng)絡(luò)的AI模型，然后將其遷移到目標(biāo)場景中，通過目標(biāo)場景中的小數(shù)據(jù)集進(jìn)行微調(diào)，使模型達(dá)到要求的性能。在這個過程中，在公開數(shù)據(jù)集上訓(xùn)練的深度網(wǎng)絡(luò)模型被稱為“預(yù)訓(xùn)練模型”。使用預(yù)訓(xùn)練模型極大地減少了模型在標(biāo)記數(shù)據(jù)量下游工作的需要，從而解決了一些難以獲得大量標(biāo)記數(shù)據(jù)的新場景。

從參數(shù)規(guī)模上看，AI 大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個階段，參數(shù)量實現(xiàn)了從億級到百萬億級的突破。從模態(tài)支持上看， AI 大模型從支持圖片、圖像、文本、語音單一模態(tài)下的單一任務(wù)，逐漸發(fā)展為支持多種模態(tài)下的多種任務(wù)。

國外超大規(guī)模預(yù)訓(xùn)練模型始于2018年，并在2021年進(jìn)入“軍備競賽”階段。2017年Vaswani等人提出Transformer架構(gòu)，奠定了大模型領(lǐng)域主流算法架構(gòu)的基礎(chǔ); Transformer提出的結(jié)構(gòu)使得深度學(xué)習(xí)模型參數(shù)達(dá)到上億規(guī)模。 2018年谷歌提出BERT大規(guī)模預(yù)訓(xùn)練語言模型，是一種基于Transformer的雙向深層預(yù)訓(xùn)練模型。這極大地刺激了自然語言處理領(lǐng)域的發(fā)展。此后，基于BERT、ELNet、RoberTa、T5的增強(qiáng)模型等一大批新的預(yù)訓(xùn)練語言模型相繼涌現(xiàn)，預(yù)訓(xùn)練技術(shù)在自然語言處理領(lǐng)域得到快速發(fā)展。

2019年，OpenAI將繼續(xù)推出15億參數(shù)的GPT-2，可以生成連貫的文本段落，實現(xiàn)早期閱讀理解和機(jī)器翻譯等。緊接著，英偉達(dá)推出了83億參數(shù)的Megatron-LM，谷歌推出了110億參數(shù)的T5，微軟推出了170億參數(shù)的Turing-NLG。 2020年，OpenAI推出GPT-3超大規(guī)模語言訓(xùn)練模型，參數(shù)達(dá)到1750億，用了大約兩年的時間，實現(xiàn)了模型規(guī)模從1億到上千億級的突破，并能實現(xiàn)作詩、聊天、生成代碼等功能。此后，微軟和英偉達(dá)于2020年10月聯(lián)合發(fā)布了5300億參數(shù)的Megatron Turing自然語言生成模型（MT-NLG）。2021年1月，谷歌推出的Switch Transformer模型成為歷史上首個萬億級語言模型多達(dá) 1.6 萬億個參數(shù)；同年 12 月，谷歌還提出了具有 1.2 萬億參數(shù)的 GLaM 通用稀疏語言模型，在7項小樣本學(xué)習(xí)領(lǐng)域的性能優(yōu)于 GPT-3?？梢钥闯?，大型語言模型參數(shù)數(shù)量保持著指數(shù)增長勢頭。這樣的高速發(fā)展還沒有結(jié)束，2022年又有一些常規(guī)業(yè)態(tài)大模型涌現(xiàn)，比如Stability AI發(fā)布的文字到圖像Diffusion，以及OpenAI推出的ChatGPT。

國外大模型發(fā)展歷程

在國內(nèi)，超大模型的研發(fā)發(fā)展異常迅速，2021年是中國AI大模型爆發(fā)的一年。 2021年，商湯科技發(fā)布了大規(guī)模模型（INTERN），擁有100億的參數(shù)量，這是一個巨大的訓(xùn)練工作。在訓(xùn)練過程中，大約有10個以上的監(jiān)控信號幫助模型適應(yīng)各種不同視覺或NLP任務(wù)。截至到2021年中，商湯科技已經(jīng)構(gòu)建了全球最大的計算機(jī)視覺模型，其中該模型擁有超過300億個參數(shù)；同年4月，華為云聯(lián)合循環(huán)智能發(fā)布千億參數(shù)規(guī)模的盤古NLP超大規(guī)模預(yù)訓(xùn)練語言模型；聯(lián)合北京大學(xué)發(fā)布盤古α超大規(guī)模預(yù)訓(xùn)練模型，參數(shù)規(guī)模達(dá)2000億。阿里達(dá)摩院發(fā)布270億參數(shù)的PLUG中文預(yù)訓(xùn)練模型，聯(lián)合清華大學(xué)發(fā)布千億參數(shù)規(guī)模的M6中文多模態(tài)預(yù)訓(xùn)練模型； 7月，百度推出 ERNIE 3.0 Titan模型； 10月，浪潮信息發(fā)布預(yù)估2500億的超大規(guī)模預(yù)訓(xùn)練模型“源 1.0”； 12月，百度推出了擁有2600億尺度參數(shù)的ERNIE 3.0 Titan模型。而達(dá)摩院的M6模型的參數(shù)達(dá)到10萬億，直接將大模型的參數(shù)提升了一個量級。2022年，基于清華大學(xué)、阿里達(dá)摩院等研究成果以及超算基礎(chǔ)實現(xiàn)的“腦級人工智能模型”八卦爐完成建立，其模型參數(shù)將超過174萬億。

部分中國公司雖然還沒有正式推出自己的大規(guī)模模型產(chǎn)品，但也在積極進(jìn)行研發(fā)，比如云從科技，該公司的研究團(tuán)隊就非常認(rèn)同“預(yù)訓(xùn)練大模型+下游任務(wù)遷移”的技術(shù)趨勢，從2020年開始，在NLP、OCR、機(jī)器視覺、語音等多個領(lǐng)域開展預(yù)訓(xùn)練大模型的實踐，不僅進(jìn)一步提升了企業(yè)核心算法的性能，同時也大大提升了算法的生產(chǎn)效率，已經(jīng)在城市治理、金融、智能制造等行業(yè)應(yīng)用中展現(xiàn)出價值。

“書生”相較于同期最強(qiáng)開源模型CLIP在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升

大模型給人工智能產(chǎn)業(yè)帶來什么

一、大模型加速AI產(chǎn)業(yè)化進(jìn)程，降低AI應(yīng)用門檻

人工智能正處于從“能用”到“好用”的應(yīng)用落地階段，但仍處于商業(yè)落地初期，主要面臨場景需求碎片化、人力研發(fā)和應(yīng)用計算成本高以及長尾場景數(shù)據(jù)較少導(dǎo)致模型訓(xùn)練精度不夠、模型算法從實驗室場景到真實場景差距大等行業(yè)問題。而大模型的出現(xiàn)，在增加模型通用性、降低訓(xùn)練研發(fā)成本等方面降低AI落地應(yīng)用的門檻。

1、大模型可實現(xiàn)從“手工作坊”到“工廠模式”的AI轉(zhuǎn)型

近十年來，通過“深度學(xué)習(xí)+大算力”獲得訓(xùn)練模型成為實現(xiàn)人工智能的主流技術(shù)途徑。由于深度學(xué)習(xí)、數(shù)據(jù)和算力可用這三個要素都已具備，全球掀起了“大煉模型”的熱潮，也催生了一大批人工智能公司。然而，在深度學(xué)習(xí)技術(shù)出現(xiàn)的近10年里，AI模型基本上都是針對特定的應(yīng)用場景進(jìn)行訓(xùn)練的，即小模型屬于傳統(tǒng)的定制化、作坊式的模型開發(fā)方式。傳統(tǒng)AI模型需要完成從研發(fā)到應(yīng)用的全方位流程，包括需求定義、數(shù)據(jù)收集、模型算法設(shè)計、訓(xùn)練調(diào)化、應(yīng)用部署和運(yùn)營維護(hù)等階段組成的整套流程。這意味著除了需要優(yōu)秀的產(chǎn)品經(jīng)理準(zhǔn)確定義需求外，還需要AI研發(fā)人員扎實的專業(yè)知識和協(xié)同合作能力才能完成大量復(fù)雜的工作。

傳統(tǒng)的定制化、作坊式模型開發(fā)流程

在傳統(tǒng)模型中，研發(fā)階段為了滿足各種場景的需求，AI研發(fā)人員需要設(shè)計個性定制化的專用的神經(jīng)網(wǎng)絡(luò)模型。模型設(shè)計過程需要研究人員對網(wǎng)絡(luò)結(jié)構(gòu)和場景任務(wù)有足夠的專業(yè)知識，并承擔(dān)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的試錯成本和時間成本。一種降低專業(yè)人員設(shè)計門檻的思路是通過網(wǎng)絡(luò)結(jié)構(gòu)自動搜索技術(shù)路線，但這種方案需要很高的算力，不同的場景需要大量機(jī)器自動搜索最優(yōu)模型，時間成本仍然很高。一個項目往往需要專家團(tuán)隊在現(xiàn)場待上幾個月才能完成。其中，數(shù)據(jù)收集和模型訓(xùn)練評估以滿足目標(biāo)要求通常需要多次迭代，從而導(dǎo)致高昂的人力成本。

落地階段，通過“一模一景”的車間模式開發(fā)出來的模型，并不適用于垂直行業(yè)場景的很多任務(wù)。例如，在無人駕駛汽車的全景感知領(lǐng)域，往往需要多行人跟蹤、場景語義分割、視野目標(biāo)檢測等多個模型協(xié)同工作；與目標(biāo)檢測和分割相同的應(yīng)用，在醫(yī)學(xué)影像領(lǐng)域訓(xùn)練的皮膚癌檢測和AI模型分割不能直接應(yīng)用于監(jiān)控景點中的行人車輛檢測和場景分割。模型無法重復(fù)使用和積累，這也導(dǎo)致了AI落地的高門檻、高成本和低效率。

大模型是從龐大、多類型的場景數(shù)據(jù)中學(xué)習(xí)，總結(jié)出不同場景、不同業(yè)務(wù)的通用能力，學(xué)習(xí)出一種特征和規(guī)律，成為具有泛化能力的模型庫。在基于大模型開發(fā)應(yīng)用或應(yīng)對新的業(yè)務(wù)場景時可以對大模型進(jìn)行適配，比如對某些下游任務(wù)進(jìn)行小規(guī)模標(biāo)注數(shù)據(jù)二次訓(xùn)練，或者無需自定義任務(wù)即可完成多個應(yīng)用場景，實現(xiàn)通用智能能力。因此，利用大模型的通用能力，可以有效應(yīng)對多樣化、碎片化的人工智能應(yīng)用需求，為實現(xiàn)大規(guī)模人工智能落地應(yīng)用提供可能。

AI大模型“工廠模式”的開發(fā)方式

2、大模型具有自監(jiān)督學(xué)習(xí)能力，能夠降低AI開發(fā)以及訓(xùn)練成本

傳統(tǒng)的小模型訓(xùn)練過程涉及大量調(diào)參調(diào)優(yōu)的手動工作，需要大量AI專業(yè)研發(fā)人員來完成；同時，模型訓(xùn)練對數(shù)據(jù)要求高，需要大規(guī)模的標(biāo)注數(shù)據(jù)。但很多行業(yè)的數(shù)據(jù)獲取困難，標(biāo)注成本高，同時項目開發(fā)者需要花費(fèi)大量時間收集原始數(shù)據(jù)。例如，人工智能在醫(yī)療行業(yè)的病理學(xué)、皮膚病學(xué)和放射學(xué)等醫(yī)學(xué)影像密集型領(lǐng)域的影響不斷擴(kuò)大和發(fā)展，但醫(yī)學(xué)影像通常涉及用戶數(shù)據(jù)隱私，很難大規(guī)模獲取到用于訓(xùn)練 AI 模型。在工業(yè)視覺瑕疵檢測領(lǐng)域，以布匹瑕疵為例，市場上需要檢測的織物種類有白坯布、色坯布、成品布、有色布、純棉、混紡織物等缺陷種類繁多，顏色和厚度難以識別，需要在工廠長時間收集數(shù)據(jù)并不斷優(yōu)化算法才能做好缺陷檢測。

大模型利用自監(jiān)督學(xué)習(xí)功能，對輸入的原始數(shù)據(jù)進(jìn)行自動學(xué)習(xí)區(qū)分，合理構(gòu)建適合模型學(xué)習(xí)的任務(wù)，不需要或者很少用人工標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，很大程度上解決了人工標(biāo)注的數(shù)據(jù)標(biāo)簽成本高、周期長、精確度的問題，減少了訓(xùn)練所需的數(shù)據(jù)量。這在很大程度上減少了收集和標(biāo)記大型模型訓(xùn)練數(shù)據(jù)的成本，更適合小樣本學(xué)習(xí)，有助于將傳統(tǒng)有限的人工智能擴(kuò)展到更多的應(yīng)用場景。

我們認(rèn)為，相比于傳統(tǒng)的AI模型開發(fā)模式，大規(guī)模模型在研發(fā)過程中的流程更加標(biāo)準(zhǔn)化，在實現(xiàn)過程中具有更大的通用性，可以泛化到多種應(yīng)用場景；并且大模型的自監(jiān)督學(xué)習(xí)能力相較于傳統(tǒng)的需要人工標(biāo)注的模型訓(xùn)練能夠顯著降低研發(fā)成本，共同使得大模型對于 AI 產(chǎn)業(yè)具有重要意義，為解決 AI 落地難、促進(jìn) AI 產(chǎn)業(yè)化進(jìn)程這一問題提供方向。

二、大模型帶來更強(qiáng)大的智能能力

除通用能力強(qiáng)、研發(fā)過程標(biāo)準(zhǔn)化程度高外，大模型最大的優(yōu)勢在于“效果好”。它通過將大數(shù)據(jù)“喂”給模型來增強(qiáng)自學(xué)習(xí)能力，從而具有更強(qiáng)的智能程度。例如，在自然語言處理領(lǐng)域，百度、谷歌等探索巨頭已經(jīng)表明，基于預(yù)訓(xùn)練大模型的NLP技術(shù)的效果已經(jīng)超越了過去最好的機(jī)器學(xué)習(xí)的能力。 OpenAI 研究表明，從 2012 年到 2018 年的六年間，在最大規(guī)模的人工智能模型訓(xùn)練中所使用的計算量呈指數(shù)級增長，其中有 3.5 個月內(nèi)翻了一番，相比摩爾定律每 18 個月翻一番的速度快很多。下一代AI大模型的參數(shù)量級將堪比人類大腦的突觸水平，可能不僅可以處理語言模型，將更是一個多模態(tài)AI模型，可以處理多任務(wù)，比如語言、視覺和聲音。

弱人工智能仍屬于計算機(jī)“工具”范疇，強(qiáng)人工智能能自適應(yīng)地完成任務(wù)

深度學(xué)習(xí)平臺體系架構(gòu)

同時大模型的訓(xùn)練離不開深度學(xué)習(xí)平臺架構(gòu)。深度學(xué)習(xí) (DL, Deep Learning)是機(jī)器學(xué)習(xí) (ML, Machine Learning)領(lǐng)域中一個新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能 (AI, Artificial Intelligence)。深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過程中獲得的信息對諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。深度學(xué)習(xí)是一個復(fù)雜的機(jī)器學(xué)習(xí)算法，在語音和圖像識別方面取得的效果，遠(yuǎn)遠(yuǎn)超過先前相關(guān)技術(shù)。大模型的訓(xùn)練離不開深度學(xué)習(xí)平臺架構(gòu)。

一、深度學(xué)習(xí)平臺三要素體系

針對行業(yè)應(yīng)用的多樣化需求，以開源開發(fā)框架為核心的深度學(xué)習(xí)平臺構(gòu)建了從模型開發(fā)到部署的服務(wù)體系，包括三個核心層次：開發(fā)框架、算法模型、開發(fā)工具和能力平臺。在人工智能大規(guī)模產(chǎn)業(yè)化生產(chǎn)時代，深度學(xué)習(xí)技術(shù)的通用性越來越強(qiáng)，深度學(xué)習(xí)平臺的標(biāo)準(zhǔn)化、自動化和模塊化特征越來越突出，成為人工智能技術(shù)大規(guī)模、低成本融合賦能的基礎(chǔ)。平臺以成熟算法技術(shù)直接調(diào)用、個性化場景定制化開發(fā)的形式為行業(yè)提供多種創(chuàng)新應(yīng)用，最終形成資源豐富、多方參與、協(xié)同演進(jìn)的人工智能使能生態(tài)。在深度學(xué)習(xí)平臺的發(fā)展演進(jìn)過程中，逐漸形成了“框架-算法-工具”三個核心層次。

深度學(xué)習(xí)平臺層次架構(gòu)

底層是開源開發(fā)框架。作為深度學(xué)習(xí)平臺的核心樞紐，開源開發(fā)框架連接GPU、ASIC等智能計算芯片，支持計算機(jī)視覺、自然語言處理、語音等各類應(yīng)用。部署全流程能力，讓高效開發(fā)迭代各種算法，部署大規(guī)模應(yīng)用成為可能。一是通過提供編程接口API、編碼語言等方式，為開發(fā)者構(gòu)建編程模型和開發(fā)能力；二是依托并行訓(xùn)練、動靜轉(zhuǎn)化、內(nèi)存優(yōu)化等功能，實現(xiàn)模型編譯和訓(xùn)練優(yōu)化；三是提供硬件接入能力，通過簡化底層硬件的技術(shù)細(xì)節(jié)，建立模型與算力的連接通道，解決模型適配部署難的問題。

中間層代表算法模型，深度學(xué)習(xí)平臺賦予開發(fā)者行業(yè)級的建模能力。采用預(yù)訓(xùn)練方式，減少數(shù)據(jù)采集、標(biāo)注時間和人力成本，縮短模型訓(xùn)練過程，實現(xiàn)模型快速部署，加速AI技術(shù)技能開發(fā)。根據(jù)技術(shù)路線和應(yīng)用價值，可以分為三類算法模型：一類是業(yè)界已經(jīng)實踐過的基礎(chǔ)算法，如VGGNet、ResNet等主流SOTA模型；二是提供自然算法語言處理、計算機(jī)視覺、多模態(tài)等領(lǐng)域小樣本細(xì)分場景的預(yù)訓(xùn)練模型，快速實現(xiàn)算法技能遷移；三是針對特定行業(yè)場景（如工業(yè)質(zhì)檢、安檢等）的應(yīng)用模型，根據(jù)用戶真實的行業(yè)落地需求推薦合適的應(yīng)用。結(jié)合落地機(jī)型和硬件，并提供相關(guān)實例。

上層是套件工具和能力平臺，支持各層級模型的開發(fā)和部署，滿足開發(fā)者各個階段的需求。主要功能體現(xiàn)在以下幾個方面： 一是降低技術(shù)應(yīng)用門檻，通過提供集成化、標(biāo)準(zhǔn)化的基礎(chǔ)訓(xùn)練技術(shù)工具組件，支持可視化分析、預(yù)訓(xùn)練模型應(yīng)用，降低訓(xùn)練和模型開發(fā)的門檻、云作業(yè)交付和其他功能；提供前沿技術(shù)研發(fā)工具，支撐聯(lián)邦學(xué)習(xí)、自動機(jī)器學(xué)習(xí)、生物計算、圖形神經(jīng)網(wǎng)絡(luò)等技術(shù)能力，為模型創(chuàng)新提供支持；三是提供圖像分類、目標(biāo)檢測、圖像分割等具體信息，滿足行業(yè)實際需求面向業(yè)務(wù)場景的端到端開發(fā)包，涵蓋數(shù)據(jù)增強(qiáng)、模塊化設(shè)計、分布式訓(xùn)練、模型調(diào)參等流程，以及交叉部署平臺，實現(xiàn)AI能力的快速應(yīng)用；四是提供全生命周期管理，構(gòu)建一體化深度學(xué)習(xí)模型開發(fā)平臺，提供從數(shù)據(jù)處理、模型訓(xùn)練、模型管理到模型推理的全周期服務(wù)，加速人工智能技術(shù)開發(fā)和應(yīng)用落地全過程，實現(xiàn)管控與協(xié)同。

二、深度學(xué)習(xí)平臺核心作用

一是驅(qū)動核心技術(shù)迭代改進(jìn)。隨著深度學(xué)習(xí)技術(shù)的逐漸成熟和普及，標(biāo)準(zhǔn)化、模塊化的流程工具成為開發(fā)者的共同訴求，深度學(xué)習(xí)平臺應(yīng)運(yùn)而生。該平臺通過提供包含卷積、池化、全連接、二分類、多分類、反向傳播等的算法庫，避免了“重復(fù)造輪子”帶來的資源浪費(fèi)。在更高層次上實現(xiàn)創(chuàng)新突破，實現(xiàn)“站在巨人的肩膀上”創(chuàng)新，加快人工智能技術(shù)迭代提升。

二是推動產(chǎn)業(yè)鏈上下游協(xié)同創(chuàng)新。操作系統(tǒng)作為連接PC和移動互聯(lián)網(wǎng)時代底層硬件架構(gòu)、頂層軟件系統(tǒng)和用戶交互界面的控制中心，是微軟、諾基亞、蘋果、谷歌等公司驅(qū)動產(chǎn)業(yè)生態(tài)的核心工具統(tǒng)治地位。在人工智能時代，深度學(xué)習(xí)平臺還起到連接頂層（頂層應(yīng)用）和底層（下層芯片）的作用，類比為“人工智能時代的操作系統(tǒng)”。深度學(xué)習(xí)平臺的出現(xiàn)，使得各種算法能夠基于現(xiàn)有硬件系統(tǒng)高效開發(fā)迭代并部署大規(guī)模應(yīng)用，為深度學(xué)習(xí)的不斷發(fā)展奠定了基礎(chǔ)。

三是縮短千行百業(yè)智能化升級路徑。當(dāng)前，人工智能工程應(yīng)用迎來了快速發(fā)展的窗口期，如何縮短人工智能算法從建模到實際生產(chǎn)的周期，提高應(yīng)用效率成為各行業(yè)關(guān)注的核心問題。深度學(xué)習(xí)平臺提供從制造到工具、技術(shù)、機(jī)制等涵蓋人工智能能力產(chǎn)生、應(yīng)用、管理全過程的實用工程解決方案，解決人工智能面臨的專業(yè)人才短缺、數(shù)據(jù)成本高、建模等問題。智能升級中的企業(yè)發(fā)展難、資源效率低等問題，滿足了企業(yè)AI能力建設(shè)的迫切需求，為智能升級奠定了基礎(chǔ)。

四是承載產(chǎn)業(yè)生態(tài)繁榮動能。深度學(xué)習(xí)是一個典型的共創(chuàng)技術(shù)領(lǐng)域。只有構(gòu)建健康完善的產(chǎn)業(yè)生態(tài)，才能實現(xiàn)繁榮和可持續(xù)發(fā)展。以深度學(xué)習(xí)平臺為驅(qū)動，搭建連接產(chǎn)學(xué)界的溝通橋梁，通過開發(fā)者社區(qū)、賽事峰會、培訓(xùn)課程等方式，匯聚人才、技術(shù)、市場等行業(yè)生態(tài)資源要素。在輸出技術(shù)能力、賦能產(chǎn)業(yè)提升的同時，不斷發(fā)展運(yùn)用人工智能技術(shù)的慣性思維方式，攻克各行業(yè)痛點難點，進(jìn)一步帶動下游需求，形成產(chǎn)業(yè)生態(tài)良性循環(huán)。

深度學(xué)習(xí)平臺的技術(shù)創(chuàng)新重點

一、開源開發(fā)框架，深度學(xué)習(xí)平臺的基礎(chǔ)核心

開源開發(fā)框架作為深度學(xué)習(xí)平臺的基礎(chǔ)核心，結(jié)合編程范式、大規(guī)模分布式等關(guān)鍵技術(shù)，打造易用、高效、可擴(kuò)展的框架引擎，解決了工業(yè)應(yīng)用中的廣泛問題。培訓(xùn)、軟件適配和硬件 ，專注于提高人工智能產(chǎn)品以及軟硬件解決方案的開發(fā)效率和易用性。

1、動靜統(tǒng)一的編程范式大幅提升算法開發(fā)效率

動靜統(tǒng)一的編程范式大幅提升算法開發(fā)效率?？蚣芫幊谭妒绞情_發(fā)人員用于編寫 程序時把復(fù)雜問題抽象成程序代碼的不同方式，主要分為命令式編程（動態(tài)圖）和聲明式編程（靜態(tài)圖）兩種編程范式，其中動態(tài)圖編程具備開發(fā)便捷性的特點，開發(fā)者可在調(diào)整局部代碼時，即時獲得執(zhí)行結(jié)果，易于調(diào)試、減少時間成本，但由于缺乏全局的計算圖Pass、顯存等優(yōu)化，如算子間融合、顯存inplace等，在性能、顯存等使用方面有所不足。而靜態(tài)圖則將用戶可事先定義的全部程序代碼進(jìn)行全局編譯優(yōu)化， 在功耗、性能等方面優(yōu)勢顯著。目前，谷歌TensorFlow、飛槳等業(yè)內(nèi)主流框架紛紛布局動靜統(tǒng)一的編程范式，同時兼容支持動態(tài)圖、靜態(tài)圖兩種編程范式，即在支持動態(tài)圖高效開發(fā)訓(xùn)練的同時，也支持開發(fā)后一行代碼轉(zhuǎn)靜態(tài)圖訓(xùn)練加速和部署，大幅提升開發(fā)者算法研發(fā)準(zhǔn)確率和生產(chǎn)部署效果。

2、大規(guī)模分布式訓(xùn)練技術(shù)有效提升巨型模型研發(fā)的承載能力

大規(guī)模分布式訓(xùn)練技術(shù)有效提升了超大規(guī)模模型開發(fā)的承載能力。目前算法模型規(guī)模呈指數(shù)級增長，以ERNIE3.0大模型為例，模型參數(shù)2600億，需要存儲空間3TB，計算量6.2E11 Tera FLOPs。單臺服務(wù)器，以Nvidia V100為例，單卡32GB內(nèi)存，125Tera FLOPS的計算能力，難以滿足千億級參數(shù)模型的訓(xùn)練需求，數(shù)據(jù)壓力大/讀寫模型、存儲、訓(xùn)練等。大規(guī)模分布式訓(xùn)練架構(gòu)布局，將千卡算力（相當(dāng)于一個國家超算中心的算力）的傳遞和計算納入主流企業(yè)通用實踐框架，結(jié)合平臺特性和端到端特征的算力模型自適應(yīng)分布式訓(xùn)練技術(shù)成為重要的創(chuàng)新方向。例如，結(jié)合算力平臺的靈活資源調(diào)度管理技術(shù)、自動選擇最優(yōu)并行策略技術(shù)、高效計算與通信技術(shù)等。

3、統(tǒng)一的高速推理引擎滿足端邊云多場景大規(guī)模部署應(yīng)用

面對多樣化的部署環(huán)境，具備云端推理能力，成為開源開發(fā)框架成為業(yè)界普惠工具的重要標(biāo)志。物聯(lián)網(wǎng)智能時代，開發(fā)框架必須具備端、邊、云全面支持的推理機(jī)架構(gòu)，以及與訓(xùn)練框架集成的內(nèi)部表達(dá)式和算子庫，實現(xiàn)即時訓(xùn)練和最完備的模型支持。推理實現(xiàn)能力應(yīng)跨越服務(wù)器、移動和 Web 前端，模型壓縮工具可以幫助開發(fā)人員實現(xiàn)更小、更高性能的模型。在部署過程中，開發(fā)框架還應(yīng)該提供全流程推理和場景部署工具鏈，以實現(xiàn)在硬件受限環(huán)境下的快速部署。工具或技術(shù)的蒸餾，進(jìn)一步優(yōu)化和支持推理引擎在服務(wù)器、移動終端/邊緣終端、網(wǎng)頁等各種硬件場景下的實現(xiàn)。

從生態(tài)上看，Paddle還支持采用Paddle平臺上的其他框架模型，也支持將Paddle模型轉(zhuǎn)換為ONNX格式進(jìn)行部署，為開發(fā)者提供多樣化、個性化的選擇。

4、標(biāo)準(zhǔn)化的軟硬件協(xié)同適配技術(shù)是打造國產(chǎn)化應(yīng)用賦能的關(guān)鍵

業(yè)內(nèi)領(lǐng)先的框架平臺企業(yè)試圖提供可滿足多硬件接入的統(tǒng)一適配方案，包括統(tǒng)一硬件接口、算子開發(fā)映射、圖引擎接入、神經(jīng)網(wǎng)絡(luò)編譯器這幾方面。

一是構(gòu)建統(tǒng)一硬件接入接口，完成不同硬件抽象層接口的標(biāo)準(zhǔn)化訪問管理。如飛 槳框架支持插件式硬件接入功能，實現(xiàn)框架和硬件的解耦，開發(fā)者只需實現(xiàn)標(biāo)準(zhǔn)接 口，即可在框架中注冊新的硬件后端。

二是提供算子開發(fā)映射方式，通過芯片提供的編程語言編寫算子Kernel或算子映 射方式接入硬件。具體可通過算子復(fù)用技術(shù)，減少算子數(shù)量；通過提供硬件Primitive開發(fā)接口，實現(xiàn)算子在不同硬件上復(fù)用；對于現(xiàn)有算子無法滿足運(yùn)算邏輯和性能 需求的問題，開發(fā)者可以自定義算子，無需重新編譯安裝飛槳框架。

三是提供圖引擎接入方式，通過框架計算圖和硬件圖引擎之間的適配，實現(xiàn)硬件接入。為了更高效適配深度學(xué)習(xí)框架，硬件廠商通常會提供圖引擎，如英偉達(dá)的 TensorRT、Intel的OpenVINO等，框架僅需實現(xiàn)模型中間表示向廠商模型中間表示 的轉(zhuǎn)換即可適配。

四是打造神經(jīng)網(wǎng)絡(luò)編譯器，實現(xiàn)自動優(yōu)化的編譯技術(shù)，利用基礎(chǔ)算子自動融合優(yōu)化實現(xiàn)復(fù)雜算子功能，降低適配成本的同時，優(yōu)化性能。如百度神經(jīng)網(wǎng)絡(luò)編譯器CINN具有方便接入硬件，提升計算速度的特點。對比業(yè)內(nèi)的TVM ，CINN額外支持了訓(xùn)練功能；對比谷歌的XLA，CINN提供自動調(diào)優(yōu)技術(shù)，可更好實現(xiàn)軟硬協(xié)同，發(fā)揮硬件性能。

二、模型庫建設(shè)，算法創(chuàng)新、沉淀與集成管理是快速賦能關(guān)鍵能力

模型庫是深度學(xué)習(xí)平臺推動AI普惠化，實現(xiàn)快速產(chǎn)業(yè)賦能的關(guān)鍵能力。為解決人工智能算法工程化落地過程中面臨的研發(fā)門檻高、周期長等問題，深度學(xué)習(xí)平臺將模型庫作為平臺的核心能力進(jìn)行建設(shè)，開發(fā)者依托模型庫，無需從頭編寫代碼即可實現(xiàn)算法能力，實現(xiàn)應(yīng)用模型的不斷復(fù)用，從而促進(jìn)人工智能應(yīng)用多樣化和規(guī)模化發(fā)展。 當(dāng)前，深度學(xué)習(xí)平臺均基于自身開發(fā)框架構(gòu)建算法模型庫，提供快速搭建人工智能應(yīng)用能力，如Meta推出 ，提供算法模型庫以及簡易API和工作流程；藍(lán)海大腦構(gòu)建產(chǎn)業(yè)級模型庫并提供面向場景應(yīng)用的模型開發(fā)套件，實現(xiàn)模型直接調(diào)用及二次開發(fā)的能力，提升算法研發(fā)應(yīng)用效率。

深度學(xué)習(xí)平臺在前沿技術(shù)領(lǐng)域持續(xù)創(chuàng)新，沉淀先進(jìn)算法能力，推動SOTA模型應(yīng)用落地。一方面，深度學(xué)習(xí)平臺已成為先進(jìn)算法模型的重要承載體，全球來看，AI領(lǐng)域創(chuàng)新算法的提出六成以上使用國際主流開發(fā)開源框架進(jìn)行驗證；另一方面，學(xué)術(shù)界、產(chǎn)業(yè)界對先進(jìn)算法的使用需求反推深度學(xué)習(xí)平臺加強(qiáng)對SOTA模型庫的能力建設(shè)，促進(jìn)原創(chuàng)算法持續(xù)產(chǎn)生。當(dāng)前，國際主流深度學(xué)習(xí)平臺模型庫不斷加強(qiáng)對前沿算法模型的積累，將算法能力沉淀至深度學(xué)習(xí)平臺模型庫，為開發(fā)者提供前沿技術(shù)能力支撐。

模型庫通過應(yīng)用場景實踐加速完善，產(chǎn)業(yè)賦能能力不斷強(qiáng)化。為滿足產(chǎn)業(yè)多樣化場景需求，切實推動AI算法應(yīng)用落地，模型庫主要通過兩個方面提升平臺產(chǎn)業(yè)賦能能力。一是通過細(xì)化應(yīng)用場景，豐富算法覆蓋方向，拓展模型庫能力邊界。模型庫基于計算機(jī)視覺、自然語言處理等基礎(chǔ)算法，依據(jù)實際產(chǎn)業(yè)需求對能力應(yīng)用場景進(jìn)行細(xì)化，面向圖像分割、車輛檢測、個性化推薦等細(xì)分任務(wù)提供經(jīng)過產(chǎn)業(yè)實踐的模型。此外，通過引入預(yù)訓(xùn)練模型，為開發(fā)者提供靈活、可拓展的算法能力，可實現(xiàn)在小樣本任務(wù)中的快速應(yīng)用，如藍(lán)海大腦目前支持產(chǎn)業(yè)級開源算法模型超500個，已在金融、能源、交通等各行各業(yè)廣泛應(yīng)用。二是從實際產(chǎn)業(yè)應(yīng)用場景出發(fā)，聚焦AI工程化落地問題，通過提供輕量級、低能耗的產(chǎn)業(yè)級部署模型，解決實際應(yīng)用場景中模型的精度與性能平衡問題。

三、工具及平臺完善，覆蓋數(shù)據(jù)處理、模型訓(xùn)練和推理部署全周期

深度學(xué)習(xí)平臺圍繞前沿技術(shù)開發(fā)部署新范式、數(shù)據(jù)模型全流程可視化分析管理、 企業(yè)級高精度應(yīng)用構(gòu)建以及全平臺部署來布局相關(guān)工具組件及平臺。

一是打造面向新型學(xué)習(xí)范式的系統(tǒng)化工具，深度學(xué)習(xí)平臺面對強(qiáng)化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、圖學(xué)習(xí)、量子計算、生物計算等前沿學(xué)習(xí)范式，提供所需編譯運(yùn)行機(jī)制和解決方案，實現(xiàn)廣泛的模型應(yīng)用場景。

二是開發(fā)覆蓋數(shù)據(jù)管理、模型開發(fā)和推理部署的全流程研發(fā)工具集，實際應(yīng)用落地作為深度學(xué)習(xí)平臺的出發(fā)點和落腳點，平臺通過提供開發(fā)套件和工具組件，端到端 打通數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練與優(yōu)化、多端部署能力，助力產(chǎn)業(yè)實踐工程化高效部署。

三是提供企業(yè)級高精度應(yīng)用構(gòu)建和全平臺部署能力，企業(yè)開發(fā)服務(wù)平臺作為深度學(xué)習(xí)平臺的重要出口，整合底層核心開源框架以及上層數(shù)據(jù)處理、模型開發(fā)構(gòu)建、模型訓(xùn)練管理及端側(cè)部署能力，輔助企業(yè)實現(xiàn)一站式模型定制能力。如藍(lán)海大腦深度學(xué)習(xí)平臺面向不同開發(fā)能力的企業(yè)打造零門檻深度學(xué)習(xí)平臺，可結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)搜索和遷移學(xué)習(xí)等技術(shù)完成語言理解、語言生成、圖像分類、物體檢測、圖文生成等任務(wù)，支持企業(yè)實現(xiàn)在公有云、本地服務(wù)器、移動設(shè)備的多側(cè)靈活安全部署。

四、專業(yè)領(lǐng)域延伸，圍繞科學(xué)發(fā)現(xiàn)與量子智能持續(xù)探索

領(lǐng)先的深度學(xué)習(xí)平臺和框架企業(yè)正圍繞生物醫(yī)藥、量子智能等更具前瞻性的垂直專業(yè)領(lǐng)域加速布局，降低前沿科研開發(fā)門檻，提升應(yīng)用開發(fā)效率。當(dāng)前，前沿學(xué)術(shù)研究進(jìn)入多學(xué)科融合和技術(shù)工具完善發(fā)展的新階段，人工智能技術(shù)成為推動前沿科學(xué)發(fā)展的重要路線之一，取得了諸多突破和突破。在創(chuàng)新的同時，也對深度學(xué)習(xí)平臺的工具能力提出了新的挑戰(zhàn)。龍頭企業(yè)重點關(guān)注以下方向，提升平臺在專業(yè)領(lǐng)域的研發(fā)能力。

一是聚焦量子智能，應(yīng)用量子計算，挖掘人工智能算法的應(yīng)用潛力。量子計算具有傳統(tǒng)計算無法比擬的信息承載能力和并行計算處理能力，有望解決人工智能模型參數(shù)數(shù)量增加帶來的計算瓶頸問題。龍頭企業(yè)提供基于深度學(xué)習(xí)平臺的量子計算工具包，推動量子技術(shù)與人工智能機(jī)器學(xué)習(xí)模型的融合，支持量子電路模擬器、訓(xùn)練判別和生成量子模型；電路仿真等模塊為開發(fā)者提供了人工智能、組合優(yōu)化、量子化學(xué)等領(lǐng)域量子應(yīng)用的研發(fā)工具，提高運(yùn)營效率，降低量子應(yīng)用研發(fā)門檻。

二是聚焦蛋白質(zhì)結(jié)構(gòu)預(yù)測、化合物性質(zhì)預(yù)測等生物醫(yī)學(xué)領(lǐng)域重點方向，構(gòu)建一套生物計算和模型開發(fā)工具。人工智能與生物醫(yī)學(xué)技術(shù)相結(jié)合，可以大大提高任務(wù)的準(zhǔn)確性和效率，成為產(chǎn)業(yè)布局的重要方向。

總結(jié)與展望

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，大模型已經(jīng)成為深度學(xué)習(xí)的未來。大模型是一種深度學(xué)習(xí)模型，它可以處理大量的數(shù)據(jù)，從而獲得準(zhǔn)確的預(yù)測結(jié)果。

首先，大模型可以有效地處理大量數(shù)據(jù)。傳統(tǒng)的機(jī)器學(xué)習(xí)模型只能處理少量的數(shù)據(jù)，而大模型可以處理大量的數(shù)據(jù)，從而獲得更準(zhǔn)確的預(yù)測結(jié)果。此外，大模型可以有效地處理非結(jié)構(gòu)化的數(shù)據(jù)，例如圖像和視頻。

其次，大模型可以提高模型的準(zhǔn)確性。大模型可以捕捉數(shù)據(jù)之間的復(fù)雜關(guān)系，從而提高模型的準(zhǔn)確性。此外，大模型可以更快地訓(xùn)練，從而更快地獲得準(zhǔn)確的預(yù)測結(jié)果。

最后，大模型可以更好地支持深度學(xué)習(xí)。深度學(xué)習(xí)需要大量的數(shù)據(jù)，大模型可以支持深度學(xué)習(xí)，從而更好地發(fā)揮深度學(xué)習(xí)的優(yōu)勢。

總之，大模型是深度學(xué)習(xí)的未來。它可以有效地處理大量的數(shù)據(jù)，提高模型的準(zhǔn)確性，更快地訓(xùn)練，更好地支持深度學(xué)習(xí)，從而提高深度學(xué)習(xí)的效率。

審核編輯黃宇