導讀: 從DSPIP供應商起家的CEVA公司,目前產品線已經擴展到AI、語音、視頻、無線連接和5G應用市場,而且產品個個不凡,包括業內第一款eNB-IoT版本14IP解決方案、業內第一款
2018-11-27 15:57:353521 “作為一家以創新驅動增長的以色列公司,CEVA技術覆蓋通信領域、物聯網連接、邊緣AI、視覺、聲音處理、傳感器融合等多個領域,CEVA已經為未來智能計算時代做好準備。” CEVA營銷副總裁Moshe
2019-11-18 11:41:5211850 全球領先的用于視覺、音頻、通信和連接性之DSP-based IP平臺授權廠商CEVA公司宣布已經收購了RivieraWaves公司,后者是領先的Wi-Fi?和Bluetooth?技術使用之無線連接性私營IP供應商。
2014-07-15 10:30:332015 Machine Learning SDK 相集成以供預覽。客戶可以使用 Azure 大規模部署的英特爾? FPGA(現場可編程邏輯門陣列)技術,為其模型提供行業領先的人工智能 (AI) 推理性能。
2018-05-16 17:25:036377 最新MLPerf基準測試表明,NVIDIA已將其在AI推理性能和能效方面的高標準擴展到Arm以及x86計算機。
2021-09-23 14:18:062622 時間、麥克風和慣性測量單元(IMU)的多種傳感器。SensPro2?系列建立在CEVA業界領先的傳感器中樞DSP領先地位上,在相同的工藝節點上,為計算機視覺提供了六倍DSP處理性能提升,為雷達處理提供了八倍DSP性能提升,并在AI推理性能方面提升了兩倍,其功率效率相比前代產品提高了20%。
2021-01-21 16:15:411140 NVIDIA憑借A100進一步擴大了在MLPerf基準測試中的領先優勢,實現了比CPU快237倍的AI推理性能,助力企業將AI研究轉化為生產力。
2020-10-22 14:07:58810 CEVA發布業界首個高性能傳感器中樞DSP架構SensPro,設計用于處理情境感知設備中的多種傳感器處理和融合工作負載。SensPro專用處理器可以滿足業界對高效處理日益增多的各類傳感器的需求,這些
2020-06-04 15:20:55
智能駕駛的快速發展離不開感知系統性能的提升,同時感知系統性能的優劣也制約著智能駕駛方案的實際落地。在感知系統研發過程中,每時每刻都需要進行性能檢測評估以了解不同感知系統自身性能的優劣,實現取長補短
2021-07-27 06:45:09
類型在運行兩種常見的 FP32 ML 模型時的 ML 推理性能。我們將在以后的博客中介紹量化推理 (INT8) 的性能。工作負載[MLCommons]在其[MLPerf 推理基準套件]中提供了代表性
2022-08-31 15:03:46
首個獨立AI推理基準測試 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市場中最大、同時也是最具競爭力的領域,業內此前一直希望能夠有一套客觀的推理性能測試指標。在參與
2019-11-08 19:44:51
本帖最后由 wangjiamin2014 于 2015-1-9 12:02 編輯
項目名稱: 溫室環境云感知終端團隊名稱:感知農業團隊成員:張馨作品演示作品介紹當前,我國發展現代農業面臨著資源
2014-12-31 10:50:06
先進無線通信而設計優化、高性能的通信處理器架構。 CEVA公司亞洲區銷售副總裁Gweltaz Toquet說,CEVA最為著名的是無線基帶解決方案,此外CEVA還為日漸廣泛的消費娛樂應用提供視頻解決方案
2019-05-21 05:00:11
的是要知道它提供的選項來提高推理性能。作為開發人員,您會尋找可以壓縮的每一毫秒,尤其是在需要實現實時推理時。讓我們看一下Arm NN中可用的優化選項之一,并通過一些實際示例評估它可能產生
2022-04-11 17:33:06
推理性能與當前服務器級 CPU 相比,VCK190 能夠提供超過 100 倍的計算性能。下面是基于 C32B6 DPU 內核的 AI 引擎實現的性能示例,批處理 = 6。有關 VCK190 上各種
2022-11-25 16:29:20
或者嵌入式 CPU 的硬件方案相比,Edge TPU 的模型推理性能應該明顯更強。大約一個月之前,我們在 Geekbench 網站上發現了一段來自“Google Coral”這一神秘設備的性能參數,當時
2019-03-05 21:20:23
如何去實現一種高性能IP電話語音終端系統的設計?
2021-06-04 06:39:06
使用 PyTorch 對具有非方形圖像的 YOLOv4 模型進行了訓練。
將 權重轉換為 ONNX 文件,然后轉換為中間表示 (IR)。
無法確定如何獲得更好的推理性能。
2023-08-15 06:58:00
的推理能力,以戰術,來支撐戰略。【本文內容】1. 創新的源頭:假設(Assumption)&假定(Hypothesis) 無論在商業決策上、產品設計方面或科學技術上,假設性的想法,都扮演非常重要
2020-12-21 10:23:41
生成兩個 IR文件(相同的 .xml 文件,但不同的 .bin 文件)
具有不同重量的類似模型,以不同的 fps (27fps 和 6fps) 運行
更多樣化的權重是否會影響 Myriad X 上的推理性能?
2023-08-15 07:00:25
(NN)引擎和張量處理架構(Tensor Processing Fabric)技術提供卓越的神經網絡推理性能,具有業界領先的能耗效率(TOPS/W)和面積效率(平方毫米/瓦),可擴展的計算能力范圍從0.5TOPS( 每秒萬億次運算)到幾百TOPS。
2019-09-11 11:52:13
受到限制,從根本上使得OEM廠商受限于DSP供應商。CEVA-XC323 DSP的發布,使我們的客戶能夠應用軟件無線電技術來提升其基礎設施處理器的性能、靈活性并縮短上市時間。對于OEM廠商,我們的IP
2011-02-23 16:36:37
CEVA和Gennum聯手提供針對嵌入存儲應用的完整SAS 2.0 IP解決方案
CEVA 公司和Gennum旗下Snowbush IP Group (Snowbush) 宣布結成合作伙伴,提供針對嵌入存儲應用而優化的完整的Serial
2009-12-16 08:52:14538 CEVA和Gennum旗下Snowbush IP部門聯手
綜合產品帶來業界最成熟且功能豐富的 SAS 2.0 IP解決方案 全球領先的硅產品知識產權 (SIP) 平臺解決方
2009-12-21 18:00:03979 CEVA和Mindspeed攜手實現全新級別的高性能基站
CEVA公司與Mindspeed Technologies宣布,CEVA用于無線基站應用的經驗證的高性能CEVA-X1641 DSP已獲Mindspeed選用于全新的Transcede 4000無
2010-02-25 08:53:58869 硅產品智慧財產權(SIP)平臺解決方案和數位訊號處理器(DSP)內核授權廠商CEVA公司宣佈,為CEVA-XC系列DSP內核(包括最新發佈的CEVA-XC4000系列DSP內核)提供經全面優化的TD-SCDMA軟體庫。
2012-07-13 09:28:48869 全球領先的硅產品知識產權(SIP)平臺解決方案和數字信號處理器(DSP)內核授權廠商CEVA公司宣布提供12Gbps 串行連接SCSI (Serial Attached SCSI, SAS-3
2013-08-13 12:18:221400 性和多媒體應用提供IP平臺解決方案和數位信號處理器(DSP) 核心授權商,今日宣布炬力集成已取得CEVA公司CEVA-TeakLite-4 DSP 和 CEVA-Bluetooth 4.0 IP的授權。
2014-01-07 15:16:061960 CEVA公司——全球領先的基于DSP平臺的視覺、音頻、通信和連接性方案授權廠商宣布Wi-Fi? 和Bluetooth?射頻IP供應商卓勝微電子(Maxscend Technologies Inc.)已經加入CEVAnet合作伙伴計劃。
2014-08-26 16:50:142416 全球領先的用于蜂窩通信、多媒體和無線連接的DSP IP平臺授權廠商CEVA公司發布第四代圖像和計算機視覺處理器IP產品CEVA-XM4。
2015-03-03 11:21:124437 全球領先的蜂窩通信、多媒體和連接性DSP IP平臺授權廠商CEVA公司宣布NXP 半導體公司的QN9000系列Bluetooth Smart SoC 產品和解決方案是基于RivieraWaves
2015-09-01 15:56:361507 全球領先的蜂窩通信、多媒體和無線連接DSP IP平臺授權廠商CEVA公司宣布Celeno Communications已經獲得CEVA-XC DSP授權許可,部署用于其802.11ac Wave 2 4x4 Wi-Fi芯片產品組合。
2016-01-26 10:29:172407 全球領先的用于蜂窩、多媒體和無線連接之DSP IP平臺授權廠商CEVA公司宣布RivieraWaves Surf IP 平臺已經從Wi-Fi Alliance?獲得Wi-Fi CERTIFIED? ac認證資格。
2016-01-26 11:51:461388 專注于智能連接設備的全球領先信號處理IP授權許可廠商CEVA公司推出新型CEVA-X DSP 架構框架,重新定義了基帶應用中控制和數據平面處理的性能和能效。
2016-02-23 14:02:40824 專注于智能連接設備的全球領先信號處理IP授權許可廠商CEVA公司推出新型CEVA-X DSP 架構框架,重新定義了基帶應用中控制和數據平面處理的性能和能效。憑借CEVA在基帶處理器上有深厚的積累
2016-05-03 13:27:271315 專注于智能互聯設備的全球領先信號處理IP授權公司CEVA宣布推出RivieraWaves 藍牙5 IP。藍牙 5具有多項增強特點,包括更遠的距離、更高的速度和更廣泛的無連接服務支持,是超越先前的藍牙標準的顯著升級,同時為現有用例提供改進特性,并且提供突破性特點以開創用于智能系統的全新IoT應用。
2016-12-09 11:52:101210 專注于智慧互聯設備的全球訊號處理IP授權公司CEVA推出RivieraWaves藍牙5 (Bluetooth 5) IP。藍牙5具有多項增強功能,包括更長的連接范圍、更高的速度和對無連接服務的擴大
2016-12-14 08:45:251013 基于最小集覆蓋理論的擁塞鏈路推理算法,僅對共享瓶頸鏈路進行推理,當擁塞路徑存在多條鏈路擁塞時,算法的推理性能急劇下降.針對該問題,提出一種基于貝葉斯最大后驗(Bayesian maxlmum
2017-12-27 10:35:000 2018年1月4日--CEVA,領先的智慧互聯設備訊號處理IP授權商(NASDAQ: CEVA) 宣布,已使用業界公認的Ellisys Bluetooth Qualifier (EBQ?)合規測試系統完成了低功耗藍牙5 IP的認證測試,包括所有新的選擇性藍牙5功能。
2018-01-04 16:40:06682 針對CLINK算法在路由改變時擁塞鏈路推理性能下降的問題,建立一種變結構離散動態貝葉斯網模型,通過引入馬爾可夫性及時齊性假設簡化該模型,并基于簡化模型提出一種IP網絡擁塞鏈路推理算法(VSDDB
2018-01-16 18:46:260 一代產品設計中。CEVA副總裁兼連接業務部總經理Aviv Malinovitch表示:“我們已經看到對802.11ax的需求不斷增長,尤其是對高性能接入點和低功耗IoT應用。我們很榮幸為客戶提供最高效的802.11ax IP解決方案,擴展了低功耗和高性能RivieraWaves Wi-Fi系列。”
2018-03-19 11:54:001163 Azure Machine Learning SDK 相集成以供預覽。客戶可以使用 Azure 大規模部署的英特爾 FPGA(現場可編程邏輯門陣列)技術,為其模型提供行業領先的人工智能 (AI) 推理性能。 “作為一家整體技術提供商,我們通過與 Microsoft 密切合作為人工智能提供支持。
2018-05-20 00:10:003057 關鍵詞:藍牙5 , RivieraWaves CEVA宣布推出RivieraWaves 藍牙5 IP。藍牙 5具有多項增強特點,包括更遠的距離、更高的速度和更廣泛的無連接服務支持,是超越先前的藍牙
2018-08-05 15:36:01380 聯網解決方案 在2019世界移動通信大會(MWC19)召開之前,CEVA,全球領先的智能和互聯設備信號處理平臺和人工智能處理器IP授權許可廠商(納斯達克股票交易所代碼:CEVA) 和專注于蜂窩IoT
2019-05-17 09:04:405435 Xavier主要用于邊緣計算的深度神經網絡推理,其支持Caffe、Tensorflow、PyTorch等多種深度學習框架導出的模型。為進一步提高計算效率,還可以使用TensorRT對訓練好的模型利用
2019-04-17 16:55:4018769 CEVA-Dragonfly NB2 IP助力WiSig NB-IoT SoC開發,該項目在印度領先的移動網絡運營商的推動發展下,實現了新的蜂窩物聯網用例
2019-09-12 09:54:002306 CEVA,全球領先的無線互聯和智能感知技術授權許可廠商 (納斯達克股票交易所代碼:CEVA) 和商用RISC-V處理器IP和芯片解決方案的領先提供商SiFive, Inc.宣布建立全新合作伙伴
2020-01-14 15:02:533255 CEVA,全球領先的無線連接和智能傳感技術的授權許可廠商(NASDAQ:CEVA) 發布業界首個高性能傳感器中樞DSP架構SensPro?,設計用于處理情境感知設備中的多種傳感器處理和融合工作負載。
2020-04-16 16:28:072447 CEVA-Dragonfly NB2交鑰匙解決方案是業內首個也是唯一獲得全球移動網絡巨頭德國電信全面認證的可授權NB-IoT IP。 CEVA,全球領先的無線連接和智能傳感技術的授權許可廠商
2020-09-06 09:48:062870 DeepCube專注于深度學習技術的研發,這些技術可改善AI系統的實際部署。該公司的眾多專利創新包括更快,更準確地訓練深度學習模型的方法,以及在智能邊緣設備上大大提高的推理性能的方法。
2020-09-10 14:40:372061 )的12個提交者增加了近一倍。 結果顯示,今年5月NVIDIA(Nvidia)發布的安培(Ampere)架構A100 Tensor Core GPU,在云端推理的基準測試性能是最先進Intel CPU
2020-10-23 17:40:024327 美國東部時間10月21日,全球倍受矚目的權威AI基準測試MLPerf公布今年的推理測試榜單,浪潮AI服務器NF5488A5一舉創造18項性能記錄,在數據中心AI推理性能上遙遙領先其他廠商產品。
2020-10-26 16:30:441893 作為硅產品知識產權(SIP)平臺解決方案和數字信號處理器(DSP)內核的授權廠商,CEVA公司推出的首款用于4G無線基礎設施應用的高性能向量DSP內核CEVA-XC323,相比現有基站側VLIW
2020-10-30 10:47:001122 CEVA,全球領先的無線連接和智能傳感技術的授權許可廠商(NASDAQ:CEVA)宣布其RivieraWaves 低功耗藍牙(BluetoothLow Energy(LE)) 5.2平臺已獲得藍牙
2020-12-01 16:41:082328 近日,在GTC China元腦生態技術論壇上,中科極限元、趨動科技、睿沿科技等元腦生態伙伴分享了多個場景下浪潮AI服務器NF5488A5的實測數據,結果表明浪潮NF5488A5大幅提升了智能語音、圖像識別等AI模型的訓練和推理性能,促進了產業AI解決方案的開發與應用。
2020-12-24 15:25:012485 通過全新DARPA Toolbox計劃建立商業合作伙伴關系,讓DARPA研究人員使用CEVA無線連接和智能傳感IP產品組合 CEVA,全球領先的無線連接和智能傳感技術的授權許可廠商(NASDAQ
2021-01-12 15:36:232134 NZ8801低功耗藍牙IC基于CEVA RivieraWaves藍牙IP,瞄準各種功耗敏感應用,包括可穿戴設備、PC外設、金融和智能家居 CEVA,全球領先的無線連接和智能傳感技術的授權許可廠商
2021-02-25 10:18:382520 一個支持邊緣實時推理的姿態估計模型,其推理性能比OpenPose模型快9倍。
2021-06-25 11:55:521579 CEVA全面發布RivieraWaves 藍牙5.3 IP產品;全球領先的無線連接和智能傳感技術的授權許可廠商CEVA全面發布RivieraWaves 藍牙 5.3 IP產品,支持多種功能以進一步
2021-08-11 15:08:3011016 ,其中的模型數量達數千個,日均調用服務達到千億級別。無量推薦系統,在模型訓練和推理都能夠進行海量Embedding和DNN模型的GPU計算,是目前業界領先的體系結構設計。 傳統推薦系統面臨挑戰 傳統推薦系統具有以下特點: 訓練是基于參數
2021-08-23 17:09:034799 MegEngine「訓練推理一體化」的獨特范式,通過靜態圖優化保證模型精度與訓練時一致,無縫導入推理側,再借助工業驗證的高效卷積優化技術...
2022-02-07 10:59:490 無線連接和智能傳感技術以及集成 IP 解決方案的領先許可商 CEVA, Inc.(納斯達克股票代碼:CEVA)今天宣布,超過 1 億個 CEVA 供電的蜂窩自 2020 年初以來,CEVA 被許可方交付了物聯網芯片。
2022-03-02 14:20:341801 CEVA , Inc. (納斯達克股票代碼:CEVA),無線連接和智能傳感技術以及集成 IP 解決方案的領先授權商和 ST 授權合作伙伴,以及為電子應用領域的客戶提供服務的全球半導體領導者
2022-03-31 15:29:521728 無線連接技術、智能傳感技術和集成 IP 解決方案的市場先驅者CEVA公司(納斯達克股票代碼: CEVA) 宣布通過 RW-UWB-CCC MAC 軟件包擴展RivieraWaves? 超寬帶(UWB
2022-06-29 16:49:562012 最新的 AI 推理基準顯然具有重要意義,因為它是目前可用的最接近真實世界 AI 推理性能的衡量標準。但隨著它的成熟和吸引更多的提交,它也將成為成功部署技術堆棧的晴雨表和新實施的試驗場。
2022-07-08 15:37:551666 DeepRec 集成了英特爾開源的跨平臺深度學習性能加速庫oneDNN (oneAPI Deep Neural Network Library),該程序庫已經針對大量主流算子實現了性能優化。與搭載 BF16 指令的第三代英特爾 至強 可擴展處理器同時使用,可顯著提高模型訓練和推理性能。
2022-07-10 10:56:191094 綜上所述,這個新版本的 OpenVINO 工具包提供了許多好處,不僅優化了用戶部署應用程序的體驗,還增強了性能參數。它使用戶能夠開發具有易于部署、更多深度學習模型、更多設備可移植性和更高推理性能且代碼更改更少的應用程序。
2022-07-12 10:08:571127 、Yolo 等神經網絡架構的推理結果。總共有來自 14 個組織的 500 多個分數進行了驗證。這包括來自幾家初創公司的數據,而一些知名初創公司仍然明顯缺席。 在封閉的部門,其嚴格的條件可以直接比較系統,結果顯示性能差異為 5 個數量級,并且在估計的功耗方面跨越三個數量級。
2022-07-21 10:23:21665 每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序,可靠的推理服務器都能提供快速、準確和可擴展的預測,具有低延遲(對單個查詢的響應時間較短)和高吞吐量(在給定時間間隔內處理大量查詢)。然而,檢查所有這些方框可能很難實現,而且成本高昂。
2022-10-11 09:49:221207 全球領先的無線連接和智能感知技術及共創解決方案的授權許可廠商CEVA, Inc.(納斯達克股票代碼:CEVA)發布業界首個用于ASIC的5G 基帶平臺 IP產品PentaG-RAN,瞄準基站和無線電配置中的蜂窩基礎設施。
2022-10-12 10:47:371950 推理識別是人工智能最重要的落地應用,其他與深度學習相關的數據收集、標注、模型訓練等工作,都是為了得到更好的最終推理性能與效果。
2022-10-26 09:43:572053 翱捷科技提供CEVA IP助力的無線通信芯片,瞄準最廣泛物聯網市場,包括可穿戴產品、智能家居、白色家電和工業應用 全球領先的無線連接和智能感知技術及共創解決方案的授權許可廠商CEVA, Inc.
2022-11-09 19:19:481541 MLPerf是一套衡量機器學習系統性能的權威標準,將在標準目標下訓練或推理機器學習模型的時間,作為一套系統性能的測量標準。MLPerf推理任務包括圖像識別(ResNet50)、醫學影像分割
2022-11-10 14:43:401738 CEVA的WhisPro語音識別和控制軟件現可用于TI的CC3235x系列MCU,為物聯網終端帶來強大功能的超低功率語音用戶界面 全球領先的無線連接和智能感知技術及共創解決方案的授權許可廠商CEVA
2022-11-23 15:35:02732 CEVA會議室展示這款SoC產品 全球領先的無線連接和智能感知技術及共創解決方案的授權許可廠商CEVA, Inc.(納斯達克股票代碼:CEVA) 宣布已授權予領先的無晶圓廠芯片設計公司聯詠
2022-12-12 21:20:021351 要點導讀 CEVA音頻前端軟件解決方案結合了ClearVox遠場降噪軟件與WhisPro基于神經網絡的關鍵詞識別(KWS)軟件,可整合至支持Alexa語音服務的設備。 全球領先的無線連接和智能感知
2023-01-19 09:10:041114 、NVIDIA 的技術專家將帶來 AI Infra 、 推理引擎 相關的專題分享,包括目前各企業面臨的模型推理挑戰、Triton 的應用及落地的具體方案等,現身說法,干貨十足。此外,還有來自蔚來
2023-02-15 16:10:05400 創造一個更快速、智能化和互聯的未來。 CEVA是領先的無線連接和智能感知技術以及定制SoC解決方案的許可商,為更智能、更安全、更連接的世界提供支持。 CEVA致力于提供基于DSP的解決方案用于5G和LTE蜂窩通信、車聯網(V2X)和雷達的智能、可擴展解決方案
2023-06-12 16:45:021041 AI推理性能對比 / Ampere 從性能對比上,我們可以看出AmpereOne在AI推理負載上的領先,比如在生成式AI和推薦算法上,AmpereOne的單機架性能是AMD EYPC 9654 Genoa的兩倍或以上,但兩者卻有著近乎相同的系統功耗,AmpereOne的優勢在此展現得一覽無余。
2023-06-13 15:03:511345 團隊將與SoC和OEM客戶面對面溝通交流,探討最新的技術創新,并介紹如何充分利用CEVA IP開發無線連接和智能感知應用以實現產品設計目標。 CEVA將在行政會議室展示用于邊緣AI、5G、計算機視覺、空間音頻(spatial-audio)和物聯網連接的最新解決方案 ,包括: 邊緣AI推理 在基于CE
2023-06-19 17:15:01744 達沃斯論壇|英特爾王銳:AI驅動工業元宇宙,釋放數實融合無窮潛力 英特爾研究院發布全新AI擴散模型,可根據文本提示生成360度全景圖 英特爾內部代工模式的最新進展 原文標題:英特爾? AMX 加速AI推理性能,助阿里電商推薦系統成功應對峰值負載
2023-07-08 14:15:03495 能千行百業 人民網攜手英特爾啟動“數智加速度”計劃 WAIC 2023:英特爾以技術之力推動邊緣人工智能發展,打造數字化未來“芯”時代 英特爾 AMX 加速AI推理性能,助阿里電商推薦系統成功應對峰值負載壓力 原文標題:英特爾? AMX 助力百度ERNIE-T
2023-07-14 20:10:05429 的無線連接、智能感知技術及定制SoC解決方案的授權許可廠商CEVA, Inc.(納斯達克股票代碼:CEVA)宣布推出增強型NeuPro-M NPU系列 , 以業界領先的性能和能效滿足 下一代生成式人工智能
2023-08-16 11:30:01599 英特爾產品在全新MLCommons AI推理性能測試中盡顯優勢 今日,MLCommons公布針對 60 億參數大語言模型及計算機視覺與自然語言處理模型GPT-J的 MLPerf推理v3.1 性能基準
2023-09-12 17:54:32446 近日,MLCommons公布針對60億參數大語言模型及計算機視覺與自然語言處理模型GPT-J的MLPerf推理v3.1性能基準測試結果,其中包括英特爾所提交的基于Habana Gaudi 2加速器
2023-09-15 19:35:05550 加利福尼亞州圣克拉拉——Nvidia通過一個名為TensorRT LLM的新開源軟件庫,將其H100、A100和L4 GPU的大型語言模型(LLM)推理性能提高了一倍。 正如對相同硬件一輪又一輪改進
2023-10-23 16:10:19650 Gridspace 機器學習主管Wonkyum Lee表示:“我們的速度基準測試表明,在 Google Cloud TPU v5e 上訓練和運行時,AI 模型的速度提高了 5 倍。我們還看到推理
2023-11-24 10:27:30643 作者: 英特爾公司 沈海豪、羅嶼、孟恒宇、董波、林俊 編者按: 只需不到9行代碼, 就能在CPU上實現出色的LLM推理性能。 英特爾 ?Extension for Transformer 創新
2023-12-01 20:40:031150 那么,什么是Torch TensorRT呢?Torch是我們大家聚在一起的原因,它是一個端到端的機器學習框架。而TensorRT則是NVIDIA的高性能深度學習推理軟件工具包。Torch TensorRT就是這兩者的結合。
2024-01-09 16:41:511724 具有10TOPS/W能效的新一代AI加速器無需冷卻風扇即可提供高達80TOPS的AI推理性能
2024-03-01 10:41:38832 當前,業界在將傳統優化技術引入 LLM 推理的同時,同時也在探索從大模型自回歸解碼特點出發,通過調整推理過程和引入新的模型結構來進一步提升推理性能。
2024-04-10 11:48:47587 全球領先的半導體產品及軟件IP授權許可商Ceva公司(納斯達克股票代碼:CEVA),專注于增強智能邊緣設備的連接、感知與數據處理能力,宣布與意法半導體(STMicroelectronics)達成重要
2024-07-19 14:22:48724 “魔搭社區是中國最具影響力的模型開源社區,致力給開發者提供模型即服務的體驗。魔搭社區利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應用部署,提高了大模型產業應用效率,更大規模地釋放大模型的應用價值。”
2024-08-23 15:48:56439 在近期揭曉的維科杯·OFweek 2024中國汽車行業年度大獎評選中,全球半導體與軟件IP領域的佼佼者Ceva公司憑借其創新的低功耗超寬帶(UWB)IP產品——Ceva-Waves UWB,榮膺“艙
2024-09-03 15:10:42418 近期,第五代英特爾?至強?可擴展處理器通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試(AISBench)。英特爾成為首批通過AISBench大語言模型(LLM)推理性能測試的企業
2024-09-06 15:33:52327 全球領先的半導體產品和軟件IP授權許可提供商Ceva公司(納斯達克股票代碼:CEVA),專注于提升智能邊緣設備的連接性、感知能力和數據推斷效率,近日宣布了一項重要合作。內存處理技術(PIM)的創新
2024-10-30 10:55:36447 Batching、Paged KV Caching、量化技術 (FP8、INT4 AWQ、INT8 SmoothQuant 等) 以及更多功能,確保您的 NVIDIA GPU 能發揮出卓越的推理性能。
2024-12-17 17:47:10136
評論
查看更多