在AI技術飛速發展的當下,AI大模型的應用正從云端向端側加速滲透。
作為全球領先的物聯網整體解決方案供應商,移遠通信憑借深厚的技術積累與前瞻性的戰略布局,在AI大模型端側部署的賽道上率先發力,其端側AI大模型解決方案備受矚目,為AI設備的革新注入了澎湃動力。
萬億級市場藍海顯現,端側AI大模型加速落地
近年來,端側AI市場呈現出驚人的增長態勢。據頭豹研究院發布的《2024 年中國端側 AI 場景應用分析:智能終端與邊緣計算的融合創新》報告預測,2023年中國端側 AI 市場規模達1,939億元,預計2028年將增至19,071億元,年均復合增長率高達58%。
從千億級邁向萬億級,這一數據背后,是端側設備對智能化、實時性需求的爆發式增長。然而,端側AI的崛起并非偶然。通過將AI大模型部署在端側,不僅解決了云端部署在網絡延遲、隱私安全、算力成本等方面的問題,更釋放了設備端的算力潛力,為AI應用的深度拓展提供了可能。
在應用方面,端側AI大模型的落地速度遠超預期。在CES 2025上,AI PC、AI手機、AI眼鏡、AI智能家電等一系列具備AI能力的終端設備紛紛亮相,充分展示了端側AI的無限可能。
三大核心驅動力, 端側AI部署正當時
當前,端側AI的部署正以前所未有的速度推進。這背后離不開以下三大核心驅動力的支撐。
端側AI算力的提升。面向端側AI應用,移遠通信打造了豐富的AI算力模組,其中,SG885G基于高通QCS8550平臺開發,AI綜合算力高達48 TOPS,能夠輕松滿足復雜模型本地化推理的算力需求。
AI模型小型化發展。DeepSeek的出現,以及量化和蒸餾技術的應用,推動了AI模型的小型化發展。現階段,3B或4B參數級別的AI模型已等效于之前的7B參數AI模型,這使得小算力芯片、小容量存儲以及小BOM設計就能實現高性能的端側AI方案。
客戶需求的拉動。AI大模型的端側部署方式具備諸多優勢,不僅確保了終端設備的實時響應和隱私安全,還能在無網環境下保持穩定運行,同時顯著降低推理成本,這極大地激發了客戶在端側部署AI的積極性。
移遠端側大模型解決方案:技術三角重構智能邏輯
在AI大模型領域,移遠通信率先布局,于2024年8月份便推出了AI大模型解決方案,為AI大模型技術在端側的落地做好了充分準備。
移遠通信端側AI大模型解決方案以“LLM(大語言模型)+ RAG(檢索增強生成)+ Agent(智能體)”技術三角為核心,通過對AI模型的深度優化與增強,重新定義了 AI 端側設備的智能化邏輯。
該方案基于移遠高算力AI模組SG885G-WF,其48 TOPS的AI綜合算力可為方案功能的實現提供充足的算力支持。同時,方案在全語音鏈路上實現了無縫銜接與高效運行,從KWS語音喚醒到VAD人聲檢測,再到ASR語音識別,最后通過TTS語音播報,能夠為用戶帶來更自然的語音交互以及更加個性化的服務體驗。
得益于移遠通信全方位的工程能力,其端側AI大模型解決方案可廣泛應用于機器人、醫療診斷、教育學習機、智能座艙、智能客服、智能點單機、PDA、對講機、陪伴玩具、智能網關、廣告機等眾多場景。
日前,移遠通信聯合德壹發布的AI具身理療機器人,便是基于其端側AI大模型解決方案打造的。該機器人在無需理療師介入、無網絡連接的環境下,能夠快速且準確地理解用戶指令和意圖,高效完成通用聊天、醫療領域RAG問答、指令控制等任務,充分展現了移遠端側AI大模型解決方案的實用價值。
AI大模型端側部署的時代已全面開啟。接下來,移遠通信將持續深化AI算力平臺迭代,推出具備更高算力的AI模組,將 AI 大模型的能力拓展至更多的端側場景,為推動端側AI技術的發展和應用貢獻更多力量。
-
物聯網
+關注
關注
2920文章
45483瀏覽量
382422 -
AI大模型
+關注
關注
0文章
350瀏覽量
426
發布評論請先 登錄
相關推薦
AI大模型端側部署正當時:移遠端側AI大模型解決方案,激活場景智能新范式

端側AI模組再進化!移遠通信和美格智能在MWC如何放大招?

移遠通信邊緣計算模組成功運行DeepSeek模型,以領先的工程能力加速端側AI落地

端側AI元年爆發!廣和通AI模組及解決方案全面支持DeepSeek-R1蒸餾模型

廣和通Fibocom AI Stack:加速端側AI部署新紀元
廣和通發布Fibocom AI Stack,助力客戶快速實現跨平臺跨系統的端側AI部署

評論