NVIDIA TensorRT 8 BERT在1.2毫秒內進行推斷
NVIDIA 發布的TensorRT 8.0 ，通過新的優化將 BERT 的大推理延遲降低到 1.2 毫秒。該版本還提供了 2 倍的精度為 INT8 精度與量化意識的訓練，并通過支持稀疏性，這是引進安培 GPU 的顯著更高的性能。
TensorRT 是一個用于高性能深度學習推理的 SDK ，包括推理優化器和運行時，提供低延遲和高吞吐量。 TensorRT 用于醫療、汽車、制造、互聯網/電信服務、金融服務、能源等行業，下載量近 250 萬次。
有幾種新的基于 transformer 模型被用于會話人工智能。 TensorRT 中的新的廣義優化可以加速所有這些模型，將推理時間減少到 TensorRT 7 的一半。
此版本的亮點包括：
BERT 在 1.2 毫秒內進行推斷，并進行了新的 transformer 優化
使用量化感知訓練，以 INT8 精度實現與 FP32 相當的準確性
引入稀疏性支持對安培 GPU 的快速推理
關于作者
About Jay Rodge
Jay Rodge 是 NVIDIA 的產品營銷經理，負責深入學習和推理產品，推動產品發布和產品營銷計劃。杰伊在芝加哥伊利諾伊理工學院獲得計算機科學碩士學位，主攻計算機視覺和自然語言處理。在 NVIDIA 之前，杰伊是寶馬集團的人工智能研究實習生，為寶馬最大的制造廠使用計算機視覺解決問題。
審核編輯：郭婷
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
NVIDIA
+關注
關注
14文章
5075瀏覽量
103553 -
gpu
+關注
關注
28文章
4768瀏覽量
129234
發布評論請先 登錄
相關推薦
在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化
Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發并開源的一種新型推測解碼技術，該技術現在可與 NVIDIA TensorRT-LLM 一起使用。
解鎖NVIDIA TensorRT-LLM的卓越性能
NVIDIA TensorRT-LLM 是一個專為優化大語言模型 (LLM) 推理而設計的庫。它提供了多種先進的優化技術，包括自定義 Attention Kernel、Inflight
NVIDIA TensorRT-LLM Roadmap現已在GitHub上公開發布
感謝眾多用戶及合作伙伴一直以來對NVIDIA TensorRT-LLM的支持。TensorRT-LLM 的 Roadmap 現已在 GitHub 上公開發布！
java小知識-納秒
()對比 System.currentTimeMillis()我們經常使用，可以參考對比一下 看方法意思，一個是納秒，一個是毫秒，二者有關系嗎? 先看看單位換算：一秒=1000毫秒 1
TensorRT-LLM低精度推理優化
本文將分享 TensorRT-LLM 中低精度量化內容，并從精度和速度角度對比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，介紹量化工具 NVIDIA
AIC3254可以把mic采集到的音頻相位調整180度再延時1毫秒輸出給揚聲器？
把mic采集到的音頻相位調整180度再延時1毫秒輸出給揚聲器，用AIC3254可以實現嗎？
發表于 10-11 08:14
魔搭社區借助NVIDIA TensorRT-LLM提升LLM推理效率
“魔搭社區是中國最具影響力的模型開源社區，致力給開發者提供模型即服務的體驗。魔搭社區利用NVIDIA TensorRT-LLM，大大提高了大語言模型的推理性能，方便了模型應用部署，提高了大模型產業應用效率，更大規模地釋放大模型的應用價值。”
請問ESP8266在射頻校準期間會發射嗎？
當ESP8266啟動時，它會運行射頻校準，該校準會在幾百毫秒內產生高電流峰值。
在這些電流尖峰期間，設備是否從其天線輻射任何東西？
發表于 07-19 06:37
如何設置rts frame的duration?
我有一個系統一個ap和數個sta. STA每隔8毫秒發個udp包。可以通過wireshark抓包發現，每個sta都會先發一個rts包，其中duration為156毫秒。這樣其他sta和ap在
發表于 06-24 06:48
NVIDIA加速微軟最新的Phi-3 Mini開源語言模型
NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微軟最新的 Phi-3 Mini 開源語言模型。TensorRT-LLM 是一個開源庫，用于優化從 PC 到云端的
利用NVIDIA Holoscan 1.0開發生產就緒型AI傳感器處理應用
邊緣 AI 開發者正在構建用于安全關鍵型和受監管用例的 AI 應用和產品。借助 NVIDIA Holoscan 1.0，這些應用可在幾毫秒內整合實時洞察和加工處理。
利用NVIDIA組件提升GPU推理的吞吐
本實踐中，唯品會 AI 平臺與 NVIDIA 團隊合作，結合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV（HKV）將推理的稠密網絡和熱
NVIDIA生成式AI研究實現在1秒內生成3D形狀
NVIDIA 研究人員使 LATTE3D （一款最新文本轉 3D 生成式 AI 模型）實現雙倍加速。
關于STM32C8T6 DMA數據讀取的疑問求解決
1.在使用STM32F103C8T6的時候，使用的是串口通訊，波特率9600，在讀取數據的時候使用的是DMA數據讀取加串口空閑中斷的方式，使用MAX485接口的芯片，每隔200毫秒發送一次數據，
發表于 03-27 07:50
STM32H750VBT6無法使用flymcu.exe或flashloader通過串口1燒寫程序，怎么解決？
在串口COM55連接成功@115200bps，耗時922毫秒
芯片內BootLoader版本號：3.1
芯片PID：00000450
芯片已設置讀保護
芯片有讀保護，請先擦除器件以清除讀保護
開始
發表于 03-15 06:07
工商網監
評論