近日，DeepSeek公司宣布推出一種全新的稀疏注意力機制——NSA(Native Sparse Attention)。據DeepSeek介紹，NSA旨在與現代硬件實現高度一致，并且具備本機可訓練的特性，專為超快速的長上下文訓練和推理而設計。
NSA通過針對現代硬件的優化設計，顯著加快了推理速度，并大幅度降低了預訓練成本，同時保持了卓越的性能表現。這一機制在確保效率的同時，并未犧牲模型的準確性或功能。
在廣泛的基準測試、涉及長上下文的任務以及基于指令的推理場景中，NSA的表現與采用完全注意力機制的模型相當，甚至在部分測試中展現出更優的性能。這一成果不僅驗證了NSA機制的有效性和實用性，也展示了DeepSeek在人工智能領域的深厚技術積累和創新能力。
DeepSeek推出的NSA機制，不僅為長上下文訓練和推理提供了全新的解決方案，也為人工智能領域的發展注入了新的活力。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
人工智能
+關注
關注
1802文章
48336瀏覽量
244093 -
NSA
+關注
關注
4文章
108瀏覽量
18393 -
DeepSeek
+關注
關注
1文章
730瀏覽量
836
發布評論請先 登錄
相關推薦
S32K在AUTOSAR中使用CAT1 ISR，是否需要執行上下文切換？
如果我們在 AUTOSAR 中使用 CAT1 ISR，是否需要執行上下文切換？另外，是否需要返回指令才能跳回到作系統？您有沒有帶有 CAT1 ISR 的 S32K3x4 微控制器的示例？
發表于 03-27 07:34
為什么深度學習中的Frame per Second高于OpenVINO?演示推理腳本？
在 DL Workbench 上使用 Microsoft 通用對象上下文 （MS COCO） 數據集運行 YOLOv4 對象檢測模型，并獲得 50 - 60 FPS。
OpenVINO?演示推理腳本運行，并獲得更高的 FPS。
發表于 03-06 07:27
壁仞科技支持DeepSeek-V3滿血版訓練推理
DeepSeek在開源周開源了部分關鍵模塊的代碼及推理系統參考架構，再次引發行業震動，但目前尚未開源DeepSeek-V3 滿血版完整訓練代碼。壁仞科技憑借八大自主創新技術，實現
北京大學兩部 DeepSeek 秘籍新出爐！（附全集下載）
和生成能力、世界知識能力，以及一定的推理能力。
相對應而言，其劣勢便在于 AI 幻覺、有限的知識庫及上下文窗口限制。
了解完原理，我們也就能讓這些聊天機器人更好地為我所用。
二、擁抱 AIGC 的未來
發表于 02-27 17:57
讓大模型訓練更高效，奇異摩爾用互聯創新方案定義下一代AI計算
了訓練成本，使得企業能夠以低成本實現高性能AI大模型的訓練；在推理端，DeepSeek加速了AI應用從訓
黑芝麻智能芯片加速DeepSeek模型推理
近日，黑芝麻智能宣布，其武當C1200家族芯片已成功完成DeepSeek模型推理的部署，而A2000芯片也將全面支持基于DeepSeek的多模態大模型推理。這一消息標志著黑芝麻智能在推
了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇
）
擴展上下文+結構化推理（支持更長復雜輸入）
響應控制
通用流暢性優先
強化分步解釋與中間過程可解釋性
3. 技術架構差異
技術點
DeepSeek-V3
DeepSeek-R1
發表于 02-14 02:08
昆侖芯率先完成Deepseek訓練推理全版本適配
本文是昆侖芯適配DeepSeek系列推文第一篇，將于近期分別推出在昆侖芯P800上進行DeepSeek-V3/R1推理、訓練的深度文章，干貨
摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務
近日，摩爾線程智能科技(北京)有限責任公司在其官方渠道發布了一則重要消息，宣布公司已經成功實現了對DeepSeek蒸餾模型推理服務的部署。這一技術突破，標志著摩爾線程在人工智能領域邁出了堅實的一步
《具身智能機器人系統》第7-9章閱讀心得之具身智能機器人與大模型
的應用。MAML算法通過二階優化找到對任務變化敏感的模型參數，實現了快速適應。上下文學習則引入了注意力機制，使模型能夠根據當前場景動態調整行為策略。在預訓練-微調范式中，我們要注意任務表示的重要性：好的表示
發表于 12-24 15:03
SystemView上下文統計窗口識別阻塞原因
SystemView工具可以記錄嵌入式系統的運行時行為，實現可視化的深入分析。在新發布的v3.54版本中，增加了一項新功能：上下文統計窗口，提供了對任務運行時統計信息的深入分析，使用戶能夠徹底檢查每個任務，幫助開發人員識別阻塞原因。
【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習
能夠關注到輸入文本中的重要部分，從而提高預測的準確性和效率。這種機制允許模型在處理文本時同時考慮多個位置的信息，并根據重要性進行加權處理。
一些關鍵技術
1. 上下文理解
大語言模型能夠同時考慮句子前后
發表于 08-02 11:03
谷歌借助Gemini AI系統深化對機器人的訓練
了如何利用Gemini 1.5 Pro的強化長上下文窗口功能，極大地優化了用戶通過自然語言指令與RT-2機器人交互的體驗。
鴻蒙Ability Kit（程序框架服務）【應用上下文Context】
[Context]是應用中對象的上下文，其提供了應用的一些基礎信息，例如resourceManager（資源管理）、applicationInfo（當前應用信息）、dir（應用文件路徑）、area
編寫一個任務調度程序，在上下文切換后遇到了一些問題求解
大家好，
我正在編寫一個任務調度程序，在上下文切換后遇到了一些問題。
為下一個任務恢復上下文后：
__builtin_tricore_mtcr_by_name(\"pcxi\"
發表于 05-22 07:50
工商網監
評論