DeepSeek開源模型的熱度席卷全球,其高效性和易用性正在成為推動AI技術普惠化的重要力量。后摩智能作為國產存算一體AI芯片的領軍企業,自研的后摩漫界M30芯片成功適配DeepSeek-R1-Distill-Qwen系列模型,包括1.5B、7B、14B等。這一成果不僅證明了存算一體芯片架構在大模型高效部署中的顯著優勢,也為端邊大模型的廣泛應用提供了強大的技術支撐。
DeepSeek-R1-Distill-Qwen-7B模型在M30上運行
性能數據:
· 上下文長度:8K
· 首字速度:<1s
· Decode速度:17 tokens/s
后摩智能的M30芯片專為端邊部署大模型而設計,其低功耗的核心優勢使其在端邊應用場景中表現出色,M30芯片具備強大的物理算力,達到100~256 TOPS@INT8,同時典型功耗僅為12~35W,能夠在保持高性能的同時顯著降低能耗。此次適配DeepSeek-R1-Distill-Qwen系列模型的成功,進一步驗證了M30芯片在處理復雜AI任務時的高效性和穩定性。隨著AI技術向端側和邊緣側的快速轉移,后摩智能的存算一體技術的突破為國產AI芯片在端邊大模型領域的應用樹立了新的標桿,也為未來更多創新應用的落地奠定了堅實基礎。
為了更好地推動端邊大模型的廣泛應用,后摩智能推出了基于M30芯片打造的系列產品——力謀SM30計算模組、力謀LM30智能加速卡、力謀BX30 計算盒子,以滿足不同場景下的多樣化需求。
力謀SM30計算模組
以力謀SM30計算模組為例,這是一款是基于M30芯片打造的智算模組(SoM),支持PCIe EP模式。該模組以其小巧的體積、強勁的性能和極低的功耗,成為小型化設備和功耗敏感嵌入式場景的理想選擇。力謀SM30計算模組的物理算力為50/100 TOPS@INT8,典型功耗低于23W,支持8路FHD的編解碼,并兼容PCIe 4.0接口。其低功耗和高性能的特點使其能夠在資源受限的環境中高效運行,為邊緣計算和端側設備提供了強大的算力支持。
DeepSeek開源模型以其高效的推理能力和較低的部署成本,正在推動AI技術的普惠化。后摩智能自研的存算一體架構,突破了傳統馮·諾依曼架構的瓶頸,將存儲與計算緊密結合,大幅減少了數據傳輸延遲,呈現出大算力、低功耗的獨特優勢,顯著提升了模型運行效率。通過后摩智能存算一體芯片與DeepSeek模型的架構級協同,不僅驗證了國產技術棧的完整競爭力,更創造了AI普惠化的中國范式——讓每瓦特算力都能承載最前沿的智能。
全球AI大模型賽道進入戰略窗口期,DeepSeek通過模型創新構建輕量化智能基座,后摩智能的存算一體芯片則以物理級能效突破重構計算邊界。這種從底層芯片到頂層模型的顛覆式創新,必將催生大模型落地新定律,期待國產技術組合能夠“改寫天命”,開辟出超越摩爾定律的進化路徑。
-
AI
+關注
關注
87文章
33026瀏覽量
272914 -
后摩智能
+關注
關注
0文章
29瀏覽量
1294 -
DeepSeek
+關注
關注
1文章
703瀏覽量
657
原文標題:開源破局 x 低功耗守護 : Deepseek與存算一體如何演繹AI界的"哪吒鬧海"?
文章出處:【微信號:后摩智能,微信公眾號:后摩智能】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
如何使用OpenVINO運行DeepSeek-R1蒸餾模型

RK3588開發板上部署DeepSeek-R1大模型的完整指南
后摩智能攜手聯想開天打造基于DeepSeek的信創AI PC
了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇
AIBOX 全系產品已適配 DeepSeek-R1

deepin UOS AI接入DeepSeek-R1模型
芯動力神速適配DeepSeek-R1大模型,AI芯片設計邁入“快車道”!

評論