眾所周知,對于某些特定的應用程序(如人工智能),換不同硬件平臺后性能會有顯著進展。進展取決于應用程序可以使用專門的硬件加速而不是軟件運行的多少,因為硬件可以比在不太專業(yè)的平臺上運行的軟件更快,消耗的能量也更少。
如下圖,排在性能底端是通用cpu,應用程序完全在軟件中,然后是GPU、FPGA、DSP,最高級的是定制芯片ASIC——比如谷歌TPU。
那么為什么不把每一個類似的解決方案都構建為ASIC呢?有兩個原因,首先,底層算法可能正在快速變化(就像人工智能),其次,設計ASIC可能需要花費大量時間,這就很難保證和快速變化的需求保持同步。你必須努力尋找比AI應用(競爭對手:Facebook, 蘋果, 亞馬遜,谷歌,百度,阿里巴巴,騰訊,ADAS/自動駕駛供應商)和數(shù)據(jù)中心(競爭對手:亞馬遜, 微軟,谷歌等)更具競爭力的市場。他們都在快速發(fā)展的贏家通吃的市場中工作。在這些領域,時間不僅僅是金錢,還意味著生存。
這就是為什么eSilicon將平臺方法引入目標應用的原因。這些ASIC平臺增加了針對AI應用和數(shù)據(jù)中心網(wǎng)絡需求的庫和基礎設施。每一項都建立在7nm技術上,并作為一個整體優(yōu)化進行PPA優(yōu)化,以滿足這些領域的具體需求。
讓我們從網(wǎng)絡平臺開始介紹。它提供了:
56G和112G的SerDes采用了56G的長范圍和短范圍架構,以非常高的數(shù)據(jù)速率支持許多通道,同時可以實現(xiàn)最低的功耗
TCAM內(nèi)存,用于加速路由查找、數(shù)據(jù)包分類、數(shù)據(jù)包轉發(fā)和ACL命令
PHY連接到包中的高帶寬內(nèi)存(HBM2)堆棧。值得注意的是,eSilicon在芯片和封裝級別的3D和2.5D系統(tǒng)構建方面擁有豐富的經(jīng)驗,包括在模具和封裝級別。因此,系統(tǒng)包的解決方案變得非常簡單。
專為pseudo-2端口、pseudo-4端口等特定于應用程序的內(nèi)存提供內(nèi)存/內(nèi)存編譯器,用更少的功耗和面積提供高帶寬,還有一系列I/O緩沖區(qū)。
人工智能平臺(又被稱為neuASIC)有點復雜。這里的目標是首先提供您在標準SoC (CPU、本地SRAM、NoC互連、到外部內(nèi)存I/O緩沖區(qū)的接口)中期望的所有IP組件,這里稱為ASIC底座。神經(jīng)網(wǎng)絡(NN)部分的設計是在底座上方的堆疊層上實現(xiàn)的,與3D互連連接到AI層。同樣,這利用了eSilicon在3D封裝中的經(jīng)驗。
如果您只是直接把您的人工智能架構變成硬件,它將具有很好的PPA(Performance,Power,Area),但一旦競爭對手跳過您,您可能需要替換它(構建一個新的ASIC)。neuASIC結構經(jīng)過優(yōu)化,可以減少對算法更改的重新設計需求。首先,底座硬件應該對NN算法的更改不敏感。接下來,人工智能層被分成塊。這種宏單元劃分要求即使NN算法改變,也要報紙底層硬件的耐久性,這要歸功于NN設計的自然模塊化風格。每個塊都是圍繞常用的宏AI函數(shù)構建的,比如卷積或池函數(shù),有些是由eSilicon預先設計的,有些可能是第三方的,有些可能是由ASIC客戶設計的。
截至今年5月,neuASIC提供了一個包含MAC塊、卷積引擎和內(nèi)存轉置函數(shù)的庫,作為預先構建的宏函數(shù)(它們將繼續(xù)工作),從而加速了常見NN結構的組裝。因為內(nèi)存和操作必須在NN中緊密地耦合以降低總功率,他們也為神經(jīng)元提供pseudo-4-port記憶支持(2神經(jīng)元數(shù)據(jù)輸入,1重量輸入,一個神經(jīng)元輸出)和一個專門記憶為weight-all-zero-power-saving(WAZPS)將零輸出較低的權力,如果權重為零,則在較低功率下降輸出歸零,這在具有稀疏權重矩陣的NN中很常見。
設計是通過一個他們稱為底座構建器的建模系統(tǒng)來支持的,通過這個系統(tǒng)可以對NN的功能操作建模,同時還可以提取PPA估計值來指導優(yōu)化設計到您的目標。
對于這兩個平臺,目標都是提供一個快速的解決方案路徑,同時滿足您的PPA目標。這樣做需要的不僅僅是一個標準的ASIC平臺。你需要能夠使用預定義的I/O環(huán),互連和高帶寬內(nèi)存訪問,您必須擁有的IP /宏原語,這些IP應該一起優(yōu)化應用程序,您必須能夠配置和描述你對PPA計劃型設計目標。這些平臺看起來是一個良好的開端,也是在加速這些領域高性能、低功耗ASIC設計的長期前景。
-
asic
+關注
關注
34文章
1206瀏覽量
120644 -
人工智能
+關注
關注
1794文章
47622瀏覽量
239582 -
AI芯片
+關注
關注
17文章
1903瀏覽量
35155
原文標題:3D封裝+SoC降低AI芯片門檻
文章出處:【微信號:SSDFans,微信公眾號:SSDFans】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論