電子發燒友網報道(文/周凱揚)經過這幾年的發展,越來越多的AI計算芯片初創公司感受到了劇增的壓力,入場的玩家越來越多,而頭部的大廠在市占率上壓得他們喘不過氣。盡管如此,還是有的廠商找到了另外的路線來吸引更多的投資,比如存內計算。
d-Matrix
近日,AI芯片初創公司d-Matrix宣布收獲了1.1億美元的B輪融資,由新加坡投資公司淡馬錫控股公司領頭,剩余的投資者包括微軟、三星等。其實早在該公司去年4月份的A輪融資中,微軟就已經領投這家初創企業,一樣參與投資的還有SK海力士。可以看出,無論是微軟,還是內存廠商,都很看好其前景。
d-Matrix的技術路線是通過存內計算來實現AI瓶頸的突破,比如在過去的標準SRAM結構中,內存墻的問題是始終存在的,而d-Matrix的數字化存內計算則可以進一步提升單位功耗的算力,從過去的10Tops/W提升至最高230Tops/W。
d-Matrix率先推出的是Nighthawk這一驗證Chiplet產品,基于臺積電的6nm工藝打造,集成了4個基礎神經網絡加速器作為AI引擎,以及一個SiFive S76 CPU作為控制單元。每個神經網絡加速器中包含了兩個自研Apollo核心,每個核心中又包括8個數字存內計算單元。
不過Nighthawk僅僅是用于展示使用,并不會量產,隨后d-Matrix又推出了Jayhawk這一chiplet加入其展示平臺,加入了基于ODSA標準的D2D接口。而d-Matrix將要為客戶正式提供的產品是今年推出的Corsair chiplet,該設備將集成512個dMIC,是Nighthawk的8倍,這才將性能推至200Tops/W以上。
針對Corsair的架構,d-Matrix還推出了Aviator這一軟件平臺,進一步無縫化終端用戶的模型部署體驗。據了解,微軟已經在評估該芯片,并計算在明年投入使用。而d-Matrix預計營收將達到1000萬美元,主要來自客戶用于評估的訂單。由于這類存內計算更適合AI計算中的推理,對于生成式AI來說可以提高吞吐量、降低延遲,同時相對GPU方案也擁有更低的TCO成本。
EnCharge AI
另外一家從事存內計算AI芯片開發,并獲得了資本青睞的初創公司名為EnCharge AI。去年年底,該公司退出隱身模式,并獲得了來自Anzu Partnets、AlleyCorp等公司的2170萬美元A輪融資。其CEO Naveen Verma表示這筆資金將用于推進硬件和軟件的開發,以及支持與新客戶之間的溝通。
相較于d-Matrix,EnCharge AI的大部分研究成果還在理論階段,并沒有量產,這也是他們繼續融資推進產品落地的原因。EnCharge AI表示自己的軟件棧與標準的設計框架(PyTorch、TensorFlow、ONNX)兼容,并支持針對應用的運算、模型和分辨率自定義。其軟件棧保證了高精度、高性能的AI模型部署不再是一個冗長的過程,而是一個流暢自動化的過程。
在硬件上,EnCharge AI還是保證了其設計與標準CMOS工藝兼容,最小化成本的同時依然可以提供最大化的性能表現。據其官網介紹,EnCharge AI在打造的存內計算AI芯片可以達到150TOPS/W的計算效率。
雖然EnCharge AI的硬件平臺也強調了可擴展性,但從其描述來看,似乎更愿意將其應用于邊緣端,比如針對攝像頭的Resnet50圖像分類識別等。不過可以肯定的是,EnCharge AI目前還處于未量產無客戶的階段,在市場上還會與其他資金雄厚、產品進度更快的競爭對手交鋒。
寫在最后
即便是鉆研存內計算AI芯片的廠商,還是需要走軟硬件棧的同步開發,因為對于AI模型,尤其是一些LLM來說,兼容性還只是重心之一。要想推進AI計算的效率,就必須做好硬件和軟件的擴展性,這也是多數AI芯片初創公司面臨的最大難題,甚至因為軟硬件協調問題遲遲沒能大規模商用。
-
AI
+關注
關注
87文章
31097瀏覽量
269430
發布評論請先 登錄
相關推薦
評論