4月26日,華為開發(fā)者大會(huì)2021(Cloud)期間(簡(jiǎn)稱HDC. Cloud 2021),國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練的AI計(jì)算框架MindSpore 1.2正式發(fā)布。最新1.2版本帶來了AI框架領(lǐng)域 “全自動(dòng)并行、全場(chǎng)景AI、可解釋推薦模型” 三大創(chuàng)新,讓開發(fā)者盡享AI開發(fā)。
全自動(dòng)并行
MindSpore是業(yè)界首個(gè)基于網(wǎng)絡(luò)拓?fù)浜图嘿Y源自動(dòng)感知的全自動(dòng)并行框架,且基于全自動(dòng)并行能力已開發(fā)業(yè)界首個(gè)2000億參數(shù)的中文預(yù)訓(xùn)練模型。
在靜態(tài)圖模式下,MindSpore融合了流水線并行、模型并行和數(shù)據(jù)并行三種并行技術(shù),開發(fā)者只需編寫單機(jī)算法代碼,添加少量并行標(biāo)簽,即可實(shí)現(xiàn)訓(xùn)練過程的自動(dòng)切分,使得并行算法性能調(diào)優(yōu)時(shí)間從月級(jí)降為小時(shí)級(jí),同時(shí)訓(xùn)練性能相比業(yè)界標(biāo)桿提升40%。
在動(dòng)態(tài)圖模式下,MindSpore獨(dú)特的函數(shù)式微分設(shè)計(jì),能從一階微分輕易地?cái)U(kuò)展到高階微分,并進(jìn)行整圖性能優(yōu)化,大幅提升動(dòng)態(tài)圖性能;結(jié)合創(chuàng)新的通訊算子融合和多流并行機(jī)制,較其它AI框架,MindSpore動(dòng)態(tài)圖性能提升60%。
全場(chǎng)景AI
MindSpore實(shí)現(xiàn)了在云、邊、端不同場(chǎng)景下硬件設(shè)備的快速應(yīng)用、高效運(yùn)行與有效協(xié)同。通過全場(chǎng)景AI的能力,Huawei Watch GT的抬腕識(shí)別率提升了80%,時(shí)延小于5ms,模型小于1KB,大幅提升了用戶體驗(yàn)。
在云端:通過自適應(yīng)模型切分和服務(wù)內(nèi)分布式并行調(diào)度技術(shù),可支持超大模型在多張加速卡上的推理部署,且推理性能較目前業(yè)界領(lǐng)先的serving服務(wù)方式提升30%
在邊緣側(cè):通過自適應(yīng)模型壓縮技術(shù),將CV類(Computer Vision 計(jì)算機(jī)視覺)模型壓縮2/3,推理時(shí)間縮短50%,用戶側(cè)實(shí)測(cè)精度損失《1%,能有效解決邊緣側(cè)算力瓶頸;
在端側(cè):模型即代碼,將模型編譯到代碼里,實(shí)現(xiàn)了極小的ROM(Read-Only Memory儲(chǔ)存內(nèi)存)占用。同時(shí),通過算子數(shù)據(jù)重排技術(shù)提升端側(cè)Cache命中率,可降低推理時(shí)延,解決在超輕量IOT設(shè)備進(jìn)行部署時(shí)受設(shè)備類型、內(nèi)存等所限制的難題。
可解釋推薦模型
MindSpore內(nèi)置業(yè)界首個(gè)語義級(jí)可解釋推薦模型TB-Net,基于原創(chuàng)知識(shí)圖譜雙向傳導(dǎo)技術(shù),從知識(shí)圖譜的海量關(guān)系路徑中,精準(zhǔn)識(shí)別影響用戶行為的核心特征和關(guān)鍵路徑,提供個(gè)性化推薦和語義級(jí)的解釋,可解釋性評(píng)估指標(biāo)相比業(yè)界模型提升63%。
自2020年3月開源以來,MindSpore社區(qū)擁有逾17萬名開發(fā)者,軟件下載量超過24萬,在超過10個(gè)行業(yè)規(guī)模使用。此外,在碼云(Gitee)上MindSpore的代碼活躍度、影響力、社區(qū)活躍度、團(tuán)隊(duì)構(gòu)建、流行趨勢(shì)綜合排名第一。目前,MindSpore已是發(fā)展最快的AI開源社區(qū)。
原文標(biāo)題:國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練AI計(jì)算框架MindSpore 1.2發(fā)布
文章出處:【微信公眾號(hào):華為智能計(jì)算】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:haq
-
AI
+關(guān)注
關(guān)注
87文章
31155瀏覽量
269487
原文標(biāo)題:國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練AI計(jì)算框架MindSpore 1.2發(fā)布
文章出處:【微信號(hào):gh_3a181fa836b6,微信公眾號(hào):華為計(jì)算】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論