談到如何設(shè)計(jì)AI加速器，許多工程師都會(huì)給出不同的答案，但歸根結(jié)底仍是在一顆先進(jìn)制程的芯片上排列組合數(shù)十億個(gè)晶體管。然而當(dāng)前超大規(guī)模的AI推理依然面臨著不少挑戰(zhàn)，比如成本和復(fù)雜度高居不下，傳統(tǒng)架構(gòu)下的性能、功耗和可編程性無(wú)法滿(mǎn)足超大規(guī)模的要求等。初創(chuàng)公司Esperanto作為去年才開(kāi)始冒頭的初創(chuàng)企業(yè)，卻打算用RISC-V來(lái)解決這一問(wèn)題。

Esperanto創(chuàng)立于2014年，其董事長(zhǎng)Dave Ditzel曾在英特爾負(fù)責(zé)下一代微處理器架構(gòu)的設(shè)計(jì)。Esperanto的工作方向是基于RISC-V這一開(kāi)放架構(gòu)，開(kāi)發(fā)高性能、高效率的計(jì)算方案。為此，他們打造了ET-SoC-1，一個(gè)千核的RISC-V處理器，也是他們開(kāi)發(fā)的首個(gè)AI加速器。

ET-SoC-1 / Esperanto
ET-SoC-1的名字寓意并不是傳統(tǒng)的SoC，而是面向超大規(guī)模數(shù)據(jù)中心的“片上超級(jí)電腦”。它包含了近乎1100個(gè)RISC-V核心，近240億晶體管。需要指出的是，ET-SoC-1是一個(gè)AI推理加速器，并不是訓(xùn)練加速器。

據(jù)CEO Art Swift介紹，該芯片采用了臺(tái)積電7nm制程，在特定的工作任務(wù)上，能耗效率提高可至100倍。ET-SoC-1在其他關(guān)鍵工作任務(wù)上，性能提升要遠(yuǎn)高于傳統(tǒng)的CPU加GPU方案。比如在模擬測(cè)試中，用于推薦網(wǎng)絡(luò)時(shí)，其性能提升高達(dá)50倍，在圖像分類(lèi)上，性能提升高達(dá)30倍。雖然這些暫時(shí)只是紙面測(cè)試參數(shù)，但這樣的性能和功耗無(wú)疑可以給AI客戶(hù)帶來(lái)很大的吸引力。

據(jù)了解，這一芯片直至2021年第二季度才正式流片，預(yù)計(jì)2022年早期才會(huì)開(kāi)始量產(chǎn)。這是因?yàn)镋speranto花了很多時(shí)間在驗(yàn)證上，作為一家初創(chuàng)公司，Esperanto采用了架構(gòu)、硬件和軟件聯(lián)合設(shè)計(jì)的方式，這樣一來(lái)雖然節(jié)省了時(shí)間，卻也讓規(guī)格一直在持續(xù)變動(dòng)。因此Esperanto在驗(yàn)證團(tuán)隊(duì)上投入了許多精力，也率先采用了新思的ZeBu FPGA仿真方案，以求減少查錯(cuò)和除錯(cuò)時(shí)間。

ET-SoC-1芯片架構(gòu) / Esperanto

ET-SoC-1用到了兩種Esperanto自研的RISC-V核心，分別是4個(gè)ET-Maxion（超標(biāo)量亂序核）和1089個(gè)ET-Minion（順序多線(xiàn)程核心）。ET-Maxion是一顆可以運(yùn)行Linux的大核心，核心頻率超過(guò)2GHz，作為ET-SoC-1的控制CPU，而ET-Minion則用于矩陣乘法等重度機(jī)器學(xué)習(xí)數(shù)據(jù)處理。

ET-Maxion作為核心頻率超過(guò)2GHz的10級(jí)流水線(xiàn)RISC-V核心，其實(shí)原本是伯克利大學(xué)Boom V2開(kāi)源核心的的分支，但Esperanto對(duì)此進(jìn)行了大刀闊斧的改進(jìn)。在SPEC2006測(cè)試下，其性能已經(jīng)超過(guò)了Cortex-A57，不過(guò)還是次于Cortex-A72以及SiFive最近公布的P550。

雖然是一個(gè)小核，但ET-Minion也是一個(gè)64位RISC-V核心。ET-SoC-1內(nèi)，32個(gè)ET-Minion和4MB的L2 SRAM組成了“Minion Shire”，一共34個(gè)Shire采用Mesh的方式連接在一起，多出來(lái)的一個(gè)ET-Minion則用作服務(wù)處理器。Esperanto用這一千多個(gè)ET-Minion做到了強(qiáng)大的浮點(diǎn)性能，某些傳統(tǒng)加速器僅支持INT8運(yùn)算，而ET-SoC-1在FP16或FP32上都能展現(xiàn)出不俗的優(yōu)勢(shì)。


搭載6個(gè)ET-SoC-1的Glacier Point v2 / Esperanto

Art Swift提到，F(xiàn)acebook推出的開(kāi)源AI板卡Glacier Point v2可以搭載6個(gè)ET-SoC-1芯片，這樣以來(lái)就可以直接接入已有的開(kāi)源計(jì)算項(xiàng)目（OCP）設(shè)備中。這一張卡上就包含了6558個(gè)RISC-V核心和192GB的LPDDR4X DRAM，帶寬可達(dá)822GB/s的同時(shí)還擁有較低的功耗。據(jù)估計(jì)，這一設(shè)計(jì)的板卡峰值性能可達(dá)800 TOPS（INT8）以上。

在軟件層面上，Esperanto也為C++、Pytorch和TensorFlow常見(jiàn)的機(jī)器學(xué)習(xí)框架提供了支持。只需采用Facebook的開(kāi)源編譯器，就可以在多個(gè)ET-SoC-1芯片上運(yùn)行機(jī)器學(xué)習(xí)模型。

結(jié)語(yǔ)

RISC-V雖然在傳統(tǒng)的CPU與GPU市場(chǎng)還未徹底崛起，但在AI加速上，已經(jīng)以其獨(dú)到的優(yōu)勢(shì)迅速攻城略地。這種千核式的設(shè)計(jì)其實(shí)已經(jīng)應(yīng)用于Arm等架構(gòu)，不少數(shù)據(jù)中心、超算卻依然在嘗試用RISC-V作為加速器。

RISC-V憑借其開(kāi)放性、擴(kuò)展性和自主性，并沒(méi)有像Arm那樣由低至高地發(fā)展市場(chǎng)，而是低端和高端兩頭抓，一旦消費(fèi)市場(chǎng)也開(kāi)始普及RISC-V生態(tài)，那時(shí)的RISC-V就有與Arm全市場(chǎng)爭(zhēng)霸的希望了。