云知聲山海大模型正式發(fā)布，交出其在AGI領(lǐng)域的第一份答卷，并進(jìn)入有序迭代階段。時(shí)隔一個(gè)月，山海大模型迎來(lái)了又一次比較大的升級(jí)——各項(xiàng)性能持續(xù)優(yōu)化，且在核心能力上實(shí)現(xiàn)三大升級(jí)：通過(guò)迭代實(shí)現(xiàn)了在特定領(lǐng)域內(nèi)的專(zhuān)業(yè)知識(shí)積累，詩(shī)詞創(chuàng)作能力、數(shù)學(xué)計(jì)算能力實(shí)現(xiàn)突破。

技術(shù)加碼，性能持續(xù)優(yōu)化

01吞吐效率接近理論上限60%

UniScale通過(guò)引入全新的Attention高效計(jì)算方式和相關(guān)底層算子的優(yōu)化來(lái)提高浮點(diǎn)運(yùn)算效率，另外，也進(jìn)一步優(yōu)化了訓(xùn)練框架中的通信策略，進(jìn)一步提升了多機(jī)多卡的吞吐效率。UniScale目前在多機(jī)多卡大模型訓(xùn)練計(jì)算效率接近理論上限的60%，而當(dāng)前公開(kāi)的主流框架訓(xùn)練效率約45%左右，因此所提方法能夠吞吐量在原有基礎(chǔ)上提升了15個(gè)點(diǎn)。在推理部分，通過(guò)解碼策略?xún)?yōu)化、量化和高效算子適配，相對(duì)原始推理性能翻倍，并適配了不同性能的顯卡推理部署。這意味著訓(xùn)推一體框架UniScale 具有出色的并行計(jì)算能力，能夠同時(shí)處理多個(gè)任務(wù)，大大提高了模型的訓(xùn)練速度。也表明在相同的時(shí)間內(nèi)，UniScale可以完成更加高效的計(jì)算任務(wù)，降低推理部署成本。

02微調(diào)速度提升15倍

UniScale通過(guò)集成QLoRA微調(diào)（Dettmers et al., 2023）技術(shù)，不僅極大地減少了微調(diào)所需的硬件資源，還提高了微調(diào)速度。QLoRA是在LoRA微調(diào)（Hu et al., 2021）基礎(chǔ)上結(jié)合了4位量化、雙量化和統(tǒng)一內(nèi)存分頁(yè)技術(shù)，是一種高效的模型參數(shù)微調(diào)方法，不僅可以在普通消費(fèi)級(jí)GPU上完成大規(guī)模語(yǔ)言模型的微調(diào)，還能夠在較少的迭代次數(shù)內(nèi)快速收斂。與此同時(shí)，我們實(shí)現(xiàn)了一種多指令統(tǒng)一微調(diào)技術(shù)，能夠進(jìn)一步減少模型的計(jì)算和通信開(kāi)銷(xiāo)，加快微調(diào)的速度。我們經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，UniScale在使用QLoRA微調(diào)和統(tǒng)一微調(diào)技術(shù)之后，微調(diào)速度提升了約15倍。

這一改進(jìn)對(duì)于微調(diào)任務(wù)非常重要，特別是當(dāng)資源有限的情況下在大規(guī)模數(shù)據(jù)集上進(jìn)行微調(diào)的場(chǎng)景。傳統(tǒng)的微調(diào)方法需要耗費(fèi)較長(zhǎng)的時(shí)間來(lái)逐步調(diào)整模型參數(shù)，而QLoRA微調(diào)能夠通過(guò)多種量化方法顯著減少顯存占用，大大減少了微調(diào)所需的內(nèi)存，同時(shí)性能幾乎與標(biāo)準(zhǔn)微調(diào)相當(dāng)。與此同時(shí)，微調(diào)后的模型可以直接用于模型部署，符合UniScale訓(xùn)練與推理一體化的設(shè)計(jì)理念，這項(xiàng)改進(jìn)使得UniScale成為一個(gè)非常有效的深度學(xué)習(xí)平臺(tái)，提供了更快速、高效的微調(diào)實(shí)驗(yàn)方案。

? ?

能力突破，效果加速提升

01醫(yī)療能力超越Med-PaLM 2

山海大模型實(shí)現(xiàn)了在特定領(lǐng)域內(nèi)專(zhuān)業(yè)知識(shí)的快速積累，通過(guò)語(yǔ)料的不斷迭代升級(jí)，專(zhuān)業(yè)能力持續(xù)突破。以醫(yī)療領(lǐng)域?yàn)槔胶４竽Ｐ蛯W(xué)習(xí)了大量教材、百科等高質(zhì)量醫(yī)學(xué)文獻(xiàn)，使其能夠提供更加全面、專(zhuān)業(yè)的醫(yī)療信息支持。在擴(kuò)展了醫(yī)療大模型的領(lǐng)域知識(shí)的同時(shí)，山海大模型仍舊保持原有的高性能、高準(zhǔn)確率等特點(diǎn)。醫(yī)療大模型的改進(jìn)為醫(yī)生們提供更強(qiáng)大的支持和指導(dǎo)，以提高醫(yī)療效果。目前該模型在MedQA任務(wù)上提升到了87.1%，超越Med-PaLM 2，臨床執(zhí)業(yè)醫(yī)師資格考試提升到了523（總分600分），超過(guò)了99%的考生水平。

02詩(shī)詞創(chuàng)作能力升級(jí)

在詩(shī)詞創(chuàng)作方面上，山海大模型不僅在預(yù)訓(xùn)練階段增加了7萬(wàn)多首古詩(shī)詞數(shù)據(jù)，補(bǔ)充詩(shī)詞相關(guān)的知識(shí)，在指令學(xué)習(xí)階段，也精心設(shè)計(jì)近40種不同的指令，基本覆蓋日常對(duì)詩(shī)詞數(shù)據(jù)相關(guān)知識(shí)考察的內(nèi)容，充分發(fā)掘大模型的潛力，進(jìn)一步提升創(chuàng)作能力。通過(guò)指令學(xué)習(xí)的方法，山海大模型學(xué)會(huì)了運(yùn)用類(lèi)似的修辭手法和表達(dá)方式，使其創(chuàng)作效果更富詩(shī)意、更具情感溫度。不僅如此，山海大模型還能夠根據(jù)主題和情感要求進(jìn)行定制化創(chuàng)作——這一突破不僅得益于詩(shī)詞相關(guān)的指令學(xué)習(xí)數(shù)據(jù)的引入，也歸功于山海大模型自身強(qiáng)大的計(jì)算和學(xué)習(xí)能力。

03數(shù)學(xué)能力提升

山海大模型的數(shù)學(xué)計(jì)算能力主要依賴(lài)預(yù)訓(xùn)練階段扎實(shí)、系統(tǒng)的數(shù)學(xué)理論體系和指令學(xué)習(xí)階段基于插件的具體題型的求解能力。為了進(jìn)一步提升山海大模型的數(shù)學(xué)能力，我們主要針對(duì)以下兩方面進(jìn)行優(yōu)化：

a) 我們?cè)陬A(yù)訓(xùn)練階段提供人工和模型精心挑選的高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)，其中包括從小學(xué)到大學(xué)所有數(shù)學(xué)學(xué)科的教材、練習(xí)冊(cè)等，通過(guò)這些數(shù)據(jù)的學(xué)習(xí)，模型就具備了系統(tǒng)的數(shù)學(xué)理論體系和解決各種數(shù)學(xué)問(wèn)題的基礎(chǔ)。

b) 基于 react 思想的指令學(xué)習(xí)是大模型數(shù)學(xué)能力的必要步驟。在此階段，對(duì)每一種題型，我們給出具體的解題思路，包括 reasoning and acting，教會(huì)大模型解決各種問(wèn)題的能力。解題過(guò)程中，為了解決大模型無(wú)法做精確數(shù)值計(jì)算的問(wèn)題，將數(shù)值運(yùn)算移交給插件完成，插件完成數(shù)值計(jì)算或者方程求解之后，將答案返回大模型，大模型繼續(xù)問(wèn)題求解，直到給出最終答案。

從5月24日正式發(fā)布以來(lái)，山海大模型始終在不斷訓(xùn)練、調(diào)優(yōu)，致力通過(guò)自身不斷的迭代進(jìn)化兌現(xiàn)AI應(yīng)用價(jià)值；保持高速演進(jìn)的同時(shí)，也在探索與具體場(chǎng)景深度融合的更多可能。

目前，云知聲山海大模型已深入到智慧醫(yī)療、智慧教育、知識(shí)管理、智慧營(yíng)銷(xiāo)、智能客服等具體場(chǎng)景中，基于山海大模型打造的場(chǎng)景應(yīng)用正不斷豐富、不斷拓展。

7月6日-7月8日，云知聲將攜山海大模型及其醫(yī)療、銀行、車(chē)載、客服等最新場(chǎng)景應(yīng)用亮相2023世界人工智能大會(huì)，歡迎大家屆時(shí)蒞臨云知聲展位參觀交流。

從能力升級(jí)到場(chǎng)景應(yīng)用，基于多年技術(shù)積累，云知聲正加速推進(jìn)山海大模型的迭代演變。未來(lái)山海會(huì)有怎樣的驚喜和亮點(diǎn)，值得你的期待。
責(zé)任編輯：彭菁