最新加速器和網(wǎng)絡平臺提升高級模擬、AI、量子計算、數(shù)據(jù)分析等方面的性能。
從量子計算到新藥研發(fā)和聚變能源領域,隨著加速計算和 AI 的進步,全球涌現(xiàn)了一項又一項重大突破,基于物理模擬的科學計算有望推進造福人類的各個領域大幅進步。
NVIDIA 在今年 3 月的 GTC 上發(fā)布了 NVIDIA Blackwell 平臺,該平臺可在萬億參數(shù)級大語言模型(LLM)上實現(xiàn)生成式 AI,而且其成本和能耗相較于 NVIDIA Hopper 架構最低可降至 1/25。
Blackwell 對 AI 工作負載具有重大的意義,其技術能力還將有助于推進包括傳統(tǒng)的數(shù)值模擬在內(nèi)的各類科學計算應用的探索工作。
加速計算和 AI 通過降低能源成本推動可持續(xù)計算。許多科學計算應用已從中受益。相較于基于傳統(tǒng) CPU 的系統(tǒng)和其他系統(tǒng),天氣模擬的成本和能耗分別降至其 1/200 和 1/300,數(shù)字孿生模擬的成本和能耗則分別降至其 1/65 和 1/58。
利用 Blackwell 實現(xiàn)科學計算模擬性能倍增
科學計算和基于物理的模擬通常依賴于所謂的雙精度格式或 FP64(浮點)來解決問題。Blackwell GPU 的 FP64 和 FP32 FMA(融合乘加)性能比 Hopper 高出 30% 。
基于物理的模擬對產(chǎn)品設計和開發(fā)至關重要。無論是飛機、火車,還是橋梁、半導體芯片和藥品,在模擬中對產(chǎn)品進行測試和改進能夠為研究人員和開發(fā)人員節(jié)省數(shù)十億美元。
現(xiàn)今的專用集成電路(ASIC)幾乎完全是在 CPU 上設計的,整個流程漫長且復雜,包括進行模擬分析以確定電壓和電流。
但這種情況正在發(fā)生改變。比如,Cadence SpectreX 模擬器就是一個典型的模擬電路設計求解器。SpectreX 電路模擬在 Grace Blackwell 超級芯片(由 Blackwell GPU 和 Grace CPU 連接而成)上的運行速度預計可達到傳統(tǒng) CPU 的 13 倍。
此外,GPU 加速的計算流體動力學(CFD)已成為一種重要工具。工程師和設備設計師用它來預測各種設計的行為。Cadence Fidelity 在 NVIDIA 的 Grace Blackwell 系統(tǒng)上運行 CFD 模擬的速度預計比傳統(tǒng)基于 CPU 系統(tǒng)快 22 倍,前所未有的流動細節(jié)都可被捕捉到。
在另一項應用中,Cadence Reality 的數(shù)字孿生軟件被用于創(chuàng)建物理數(shù)據(jù)中心的虛擬復制品,包括其服務器、冷卻系統(tǒng)、電源在內(nèi)的所有組件。這種虛擬模型可以讓工程師在現(xiàn)實世界中進行應用之前,就能夠提前對各種配置和方案進行測試,從而節(jié)省時間和成本。
Cadence Reality 的優(yōu)異之處在于其基于物理的算法可以模擬熱量、氣流和用電量對數(shù)據(jù)中心的影響。這有助于工程師和數(shù)據(jù)中心運營人員更有效地管理容量,預測潛在的運行問題,并做出明智的決策,通過優(yōu)化數(shù)據(jù)中心的布局和運行,從而提高效率和容量利用率。借助 Blackwell GPU,這些模擬的運行速度預計比 CPU 快高達 30 倍,從而加快了完成時間并提高了能效。
AI 在科學計算中的應用
全新 Blackwell 加速器和網(wǎng)絡平臺將大幅提升模擬性能。
NVIDIA Grace Blackwell 開啟了高性能計算(HPC)的新時代。其架構采用第二代 Transformer 引擎,經(jīng)過優(yōu)化,可加速 LLM 推理工作負載。
與上一代 Hopper 架構 GPU 相比,Blackwell 架構使資源密集型應用如 1.8 萬億參數(shù)的 GPT-MoE(生成式預訓練轉換器-專家混合)模型實現(xiàn)了 30 倍的提速,為 HPC 開辟了新的可能性。通過讓 LLM 處理和解讀海量科學數(shù)據(jù),高性能計算應用可以更快獲得有價值洞察,從而加速科學探索。
桑迪亞國家實驗室正在構建一個適用于并行編程的 LLM 智能助手。傳統(tǒng)的 AI 可以高效生成基本的串行計算代碼,但當涉及到 HPC 應用的并行計算代碼時,LLM 就會顯得力不從心。桑迪亞的研究人員正在通過一個雄心勃勃的項目解決這個問題,他們準備用 Kokkos 自動生成并行代碼。Kokkos 是一種由多國實驗室設計的編程語言,專門用于在全球最強大超級計算機的數(shù)萬個處理器上運行任務。
桑迪亞國家實驗室正在使用一種被稱為檢索增強生成(RAG)的 AI 技術將信息檢索能力與語言生成模型相結合。該項目團隊正在創(chuàng)建一個 Kokkos 數(shù)據(jù)庫,并利用 RAG 將其與 AI 模型集成。
初步結果十分喜人。桑迪亞國家實驗室采用的不同 RAG 方法已經(jīng)自主生成了用于并行計算應用的 Kokkos 代碼。他們希望通過克服 AI 并行代碼生成中的障礙,為全球領先的超級計算設施提供新的 HPC 可能性。
其他示例包括可再生能源研究、氣候科學和新藥研發(fā)。
推動量子計算的進步
量子計算為聚變能、氣候研究、新藥研發(fā)等領域帶來了大幅加速。因此,研究人員正努力在基于 NVIDIA GPU 的系統(tǒng)和軟件上模擬未來的量子計算機,以前所未有的速度開發(fā)和測試量子算法。
NVIDIA CUDA-Q 平臺通過一個實現(xiàn) CPU、GPU 和 QPU(量子處理器)協(xié)同工作的統(tǒng)一編程模型,實現(xiàn)量子計算機模擬和混合應用開發(fā)。
CUDA-Q 正在加快巴斯夫化學工作流、石溪大學高能和核物理學研究以及 NERSC 量子化學的模擬速度。
NVIDIA Blackwell 架構將助推量子模擬達到新高度。通過最新的 NVIDIA NVLink 多節(jié)點互連技術,可以更快地打通數(shù)據(jù)以提高量子模擬速度。
加快數(shù)據(jù)分析以推動科學突破
使用 RAPIDS 處理數(shù)據(jù)的方式在科學計算領域非常常見。Blackwell 加入了一個硬件解壓縮引擎,能夠對壓縮數(shù)據(jù)進行解壓縮,并加快在 RAPIDS 中的分析速度。
該解壓縮引擎可將性能提升至 800GB/s,使 NVIDIA Grace Blackwell 在查詢基準測試中的性能較 CPU(在 Sapphire Rapids 上)快 18 倍,較 NVIDIA Hopper Tensor Core GPU 快 6 倍。
憑借 8TB/s 的高內(nèi)存帶寬和 Grace CPU 高速 NVLink 片間(C2C)互連技術,該引擎可大幅提高數(shù)據(jù)傳輸速度,進而加快整個數(shù)據(jù)庫查詢過程。Blackwell 能夠在數(shù)據(jù)分析和數(shù)據(jù)科學用例中發(fā)揮出卓越性能,從而加快數(shù)據(jù)洞察速度并降低成本。
NVIDIA 網(wǎng)絡平臺為科學計算提供極致性能
NVIDIA Quantum-X800 InfiniBand 網(wǎng)絡平臺可為科學計算基礎設施提供最高吞吐量。
該平臺包含 NVIDIA Quantum Q3400 和 Q3200 交換機, 以及 NVIDIA ConnectX-8 SuperNIC,二者組合在帶寬上可達上一代產(chǎn)品的兩倍。Q3400 平臺的帶寬容量提高了 5 倍,并且借助 NVIDIA 的 SHARPv4(可擴展分層聚合和歸約協(xié)議)技術實現(xiàn)了 14.4 Tflops 的網(wǎng)絡計算能力,較上一代產(chǎn)品提高了 9 倍。
性能的飛躍和能效的提高,使科學計算的工作負載完成時間與能耗顯著減少。
-
集成電路
+關注
關注
5391文章
11603瀏覽量
362708 -
加速器
+關注
關注
2文章
805瀏覽量
37997 -
NVIDIA
+關注
關注
14文章
5070瀏覽量
103476 -
量子計算
+關注
關注
4文章
1108瀏覽量
35001
原文標題:ISC24 | NVIDIA Blackwell 平臺推動科學計算突破發(fā)展
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論