近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計(jì)算GPU與未來(lái)速度旗下大模型推理及數(shù)據(jù)分析產(chǎn)品完成適配。

沐曦旗艦產(chǎn)品曦云C500基于自主研發(fā)的高性能GPU IP，特別適合千億參數(shù)AI大模型的訓(xùn)練和推理；基于全自研 GPU 指令集打造的MXMACA軟件棧，全面兼容主流GPU生態(tài)，實(shí)現(xiàn)用戶零成本遷移；通過(guò)自主知識(shí)產(chǎn)權(quán)的MetaXLink實(shí)現(xiàn)單機(jī)8卡GPU全互聯(lián)，提供構(gòu)建高密度算力和云計(jì)算部署的優(yōu)秀國(guó)產(chǎn)GPU解決方案；可廣泛應(yīng)用于千億參數(shù)AI大模型訓(xùn)練與推理、AIGC內(nèi)容生成、推薦系統(tǒng)、自動(dòng)語(yǔ)音識(shí)別、語(yǔ)音合成、圖像分割檢測(cè)，以及科學(xué)計(jì)算、數(shù)據(jù)庫(kù)加速等多種場(chǎng)景。

本次在較短時(shí)間內(nèi)雙方完成多個(gè)模型框架的適配工作，充分證明了曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計(jì)算GPU的高通用性和靈活性，雙方的合作降低了大模型推理和大規(guī)模數(shù)據(jù)處理的門檻。

大模型推理框架適配結(jié)果

依托曦云C500軟件棧MXMACA的完美兼容性，分布式推理框架Xorbits Inference成功運(yùn)行了70B的LLaMa2模型，成為首個(gè)在單張國(guó)產(chǎn)GPU上完成 70B大模型推理任務(wù)的案例。該模型能夠流暢地在本地環(huán)境中部署，讓用戶輕松一鍵部署個(gè)性化模型或前沿的開源模型。

數(shù)據(jù)分析框架適配結(jié)果

通過(guò)不到一天時(shí)間完成兼容對(duì)接，Xorbits依托曦云C500不僅能夠高效地處理TPC-H基準(zhǔn)測(cè)試中的22個(gè)復(fù)雜查詢場(chǎng)景，還提供了簡(jiǎn)潔、可讀性強(qiáng)的代碼，這使得Xorbits的解決方案易于理解、維護(hù)和擴(kuò)展，為用戶帶來(lái)了極大的便利和靈活性。

關(guān)于沐曦

沐曦致力于為異構(gòu)計(jì)算提供安全可靠的GPU芯片及解決方案，打造全棧GPU芯片產(chǎn)品，推出曦思N系列GPU用于AI推理，曦云C系列GPU用于千億參數(shù)AI大模型訓(xùn)練及通用計(jì)算，以及曦彩G系列GPU用于圖形渲染，滿足數(shù)據(jù)中心對(duì)“高能效”及“高通用性”的算力需求。沐曦產(chǎn)品均采用完全自主研發(fā)的GPU IP，擁有完全自主的指令集和架構(gòu)，配以兼容主流GPU生態(tài)的完整軟件棧（MXMACA），具備高能效和高通用性的天然優(yōu)勢(shì)，能夠?yàn)榭蛻魳?gòu)建軟硬件一體的全面生態(tài)解決方案，是“雙碳”背景下推動(dòng)數(shù)據(jù)中心建設(shè)和產(chǎn)業(yè)數(shù)字化、智能化轉(zhuǎn)型升級(jí)的算力基石。