資料介紹
支持AI人工智能和ML機器學習部署的數據中心依靠基于圖形處理單元(GPU)的服務器為其計算密集型架構提供支持。到2024年,在多個行業中,GPU使用量的增長將使GPU服務器的復合年增長率超過31%。這意味著將有更多的系統架構師承擔承擔相應的職責,以確保GPU系統具有最高的性能和成本效益。
然而,為這些基于GPU的AI / ML工作負載優化存儲并非易事。存儲系統必須高速處理海量數據,與此同時需要注意以下兩個挑戰:
1)服務器利用率。GPU服務器對于訓練大型AI / ML數據集所需的矩陣乘法和卷積非常高效。但是,GPU服務器的成本是典型CPU服務器的3倍。為了保持ROI,IT員工需要讓GPU使用率足夠飽和。但不幸的是,很多部署經驗表明GPU僅有30%的使用率。
2)GPU存儲瓶頸。ML訓練數據集通常遠遠超過GPU的本地RAM容量,從而產生了一個I / O瓶頸,分析人員將其稱為GPU存儲瓶頸。AI和ML系統最終要等待訪問存儲資源,這是因為它們龐大的數據阻礙了及時訪問,從而影響了性能。
為了解決這個問題,NVMe閃存固態硬盤逐漸取代了標準閃存固態硬盤,成為Al / ML存儲的首選。NVMe支持大規模的IO并行性,性能約為同類SATA SSD的6倍,并且延遲降低了10倍,并且具有更高的電源效率。正如GPU推動了高性能超級計算機的發展一樣,NVMe閃存在降低延遲的同時,實現了更高的存儲性能、帶寬和吞吐量。NVMe閃存解決方案可以使AI和ML數據集加載到應用程序的速度更快,并且可以避免GPU匱乏。
此外,NVMe Over Fabrics可以虛擬化整個高速網絡上的Nvme資源,通過NVMeoF技術可以更好的適用于AI和ML的存儲架構。NVMeoF使GPU可以直接訪問NVMe的彈性池,因此可以使用本地閃存性能來訪問所有資源。它使AI數據科學家和HPC研究人員可以向應用程序提供更多數據,以便他們更快地獲得更好的結果。
要獲得最佳的GPU存儲性能,就需要根據業務目標對基礎架構進行微調。這里有四種方法可供考慮。
?
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
- 了解TDA4VM或DRA829存储器以获得出色性能0次下载
- 有哪些方法可修复轴承跑外圆1次下载
- 获得GPU存储性能的四种方法28次下载
- 基于GPU的稀疏矩阵存储格式优化综述18次下载
- USB 3.0存储发展历史及展望综述43次下载
- 一种基于区块链的日志安全存储方法6次下载
- Ceph分布式存储系统性能优化研究综述5次下载
- 声子BTE方程迭代求解在GPU上的并行加速方案24次下载
- 一种可行的分布式存储系统安全构造方法21次下载
- 基于预分区策略的分布式数据存储方法18次下载
- 一种数据流内存索引及存储方法8次下载
- 一种利用GPU并行计算提升杂波生成实时性的方法12次下载
- 单片机存储器的工作原理和结构与半导体存储器的分类说明4次下载
- YUV视频GPU实时拼接2次下载
- 公有云存储系统性能评测方法研究0次下载
- GPU 性能原理拆解218次阅读
- 常见GPU问题及解决方法2360次阅读
- 如何提高GPU性能1277次阅读
- GPU超频设置技巧824次阅读
- 获得高频输出的方法AT技术372次阅读
- CPU渲染和GPU渲染优劣分析786次阅读
- GPU集群组网技术详解5570次阅读
- 什么是虚拟GPU?虚拟GPU的优势有哪些?2104次阅读
- 使用NVIDIA数学库加速GPU应用程序7622次阅读
- 5种GPU虚拟化技术的详细资料讲解9937次阅读
- 选择GPU服务器需要考虑哪些情况如何才能提升GPU存储性能3552次阅读
- GPU和CPU有什么区别GPU的详细介绍23678次阅读
- GPU存储性能怎样去获得1214次阅读
- 复合放大器实现高精度的高输出驱动能力 获得最佳的性能1786次阅读
- 什么是强制gpu渲染_强制渲染gpu有什么用8009次阅读
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1491次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 95次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關電源原理及各功能電路詳解
- 0.38 MB | 11次下載 | 免費
- 6100W短波放大電路圖
- 0.05 MB | 4次下載 | 3 積分
- 7基于單片機和 SG3525的程控開關電源設計
- 0.23 MB | 4次下載 | 免費
- 8基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關電源設計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537793次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論