英特爾在中國(guó)推出云端AI訓(xùn)練芯片Habana Gaudi2，該芯片可滿足大規(guī)模語(yǔ)言模型、多模態(tài)模型及生成式AI模型的需求。

7月11日，英特爾在中國(guó)市場(chǎng)推出云端AI訓(xùn)練芯片——Habana Gaudi2。該芯片可滿足大規(guī)模語(yǔ)言模型、多模態(tài)模型及生成式AI模型的需求。據(jù)現(xiàn)場(chǎng)介紹，該芯片性能在一些關(guān)鍵指標(biāo)上勝過(guò)英偉達(dá)A100。

據(jù)了解，該Gaudi2處理器及Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，具有24個(gè)可編程Tensor處理器核心（TPCs）。

每顆芯片集成了21個(gè)專(zhuān)用于內(nèi)部互聯(lián)的100Gbps（RoCEv2 RDMA）以太網(wǎng)接口，配備配置96GB HBM高速內(nèi)存及2.4TB/秒的總內(nèi)存帶寬，滿足大規(guī)模語(yǔ)言模型、多模態(tài)模型及生成式AI模型的需求。

據(jù)現(xiàn)場(chǎng)介紹，英特爾Gaudi2運(yùn)行ResNet-50的每瓦性能約是英偉達(dá)A100的2倍，運(yùn)行1760億參數(shù)BLOOMZ模型的每瓦性能約達(dá)A100的1.6倍。

在發(fā)布會(huì)上，浪潮信息高級(jí)副總裁、AI和HPC總經(jīng)理劉軍現(xiàn)場(chǎng)發(fā)布搭載Gaudi2的新一代AI服務(wù)器NF5698G7。

目前，英特爾已與浪潮信息合作，打造基于Gaudi2深度學(xué)習(xí)加速器的AI服務(wù)器NF5698G7。該服務(wù)器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強(qiáng)可擴(kuò)展處理器，支持AMX/DSA等AI加速引擎。當(dāng)日，該款A(yù)I服務(wù)器也正式發(fā)布。

浪潮信息高級(jí)產(chǎn)品經(jīng)理王磊強(qiáng)調(diào)，NF5698G7是專(zhuān)為面向生成式AI市場(chǎng)開(kāi)發(fā)的新一代AI服務(wù)器，支持8顆OAM高速互聯(lián)的Gaudi2加速器，將為AI客戶提供大模型訓(xùn)練和推理能力。

新華三集團(tuán)計(jì)算存儲(chǔ)產(chǎn)品線副總裁劉宏程表示，基于英特爾Gaudi2 AI加速器，新華三正與英特爾合作，開(kāi)發(fā)適合大模型訓(xùn)練和推理的高性能AI服務(wù)器。

同時(shí)，超聚變數(shù)字技術(shù)有限公司算力基礎(chǔ)設(shè)施領(lǐng)域總裁唐啟明指出，超聚變將與英特爾，共同推出基于Gaudi2的全新產(chǎn)品與解決方案。

此前，英特爾中國(guó)區(qū)董事長(zhǎng)王銳在接受《科創(chuàng)板日?qǐng)?bào)》記者采訪時(shí)指出，ChatGPT浪潮帶來(lái)計(jì)算需求的大幅度提升，目前正與包括百度、阿里等在內(nèi)的中國(guó)的客戶開(kāi)展共同研究。王銳透露，不管是高性能的計(jì)算還是分布式的計(jì)算，都已經(jīng)進(jìn)行了布局。

一位英特爾技術(shù)專(zhuān)家《科創(chuàng)板日?qǐng)?bào)》記者分享了英特爾在大模型領(lǐng)域的布局情況。在訓(xùn)練層面，針對(duì)CPU、GPU、IPU、Habana等異構(gòu)計(jì)算，英特爾用oneAPI以及XPU平臺(tái)來(lái)提供更多的選擇。在推理方面，第四代Sapphire Rapids發(fā)布后，基于AMX加速器，可在行業(yè)中解決80%以上的客戶推理需求。同時(shí)，也充分利用CPU，包括用于訓(xùn)練的Ponte Vecchio，和用于推理的Arctic Sound等。

伴隨著大模型的熱潮，云計(jì)算的商業(yè)模式正朝著MaaS（模型即服務(wù)）的方向演進(jìn)，其所帶來(lái)的算力需求也值得關(guān)注。

“它的理念是利用預(yù)訓(xùn)練模型，對(duì)行業(yè)數(shù)據(jù)進(jìn)行訓(xùn)練，從而形成針對(duì)特定場(chǎng)景的、面向各行業(yè)的細(xì)分模型。我們知道通用模型的參數(shù)量非常大，例如GPT-3可達(dá)到1750億，部署這些模型會(huì)比較麻煩，因此，可能需要對(duì)大模型進(jìn)行蒸餾和壓縮，形成行業(yè)可部署的模型。”上述技術(shù)專(zhuān)家稱(chēng)。

此外，把大模型進(jìn)行私有化部署是不少行業(yè)的潛在需求。“很多細(xì)分行業(yè)不接受SaaS服務(wù)，尤其金融等行業(yè)。因此，英特爾正在探討如何把這個(gè)模型小型化之后，在本土落地做私有化部署，使其真正在行業(yè)落地。”