色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA SuperNIC推進現代AI基礎設施發展

NVIDIA英偉達企業解決方案 ? 來源:NVIDIA英偉達企業解決方案 ? 2024-11-06 13:59 ? 次閱讀

在生成式 AI 時代,加速網絡對于為大規模分布式 AI 工作負載構建高性能計算平臺至關重要。NVIDIA 在加速網絡領域繼續保持領先地位,提供先進的以太網和 InfiniBand 解決方案,可最大限度地提高 AI 工廠和云數據中心的性能和效率。

這些解決方案的核心是NVIDIA SuperNIC,一種專為超大規模 AI 工作負載而優化的新型網絡加速器。這些 SuperNIC 是NVIDIA Spectrum-X 以太網和Quantum-X800 InfiniBand 網絡平臺的關鍵組件,旨在提供前所未有的可擴展性和性能。

ConnectX-8 SuperNIC 是 NVIDIA SuperNIC 產品系列中的新成員,與 BlueField-3 SuperNIC 一起,共同推動加速的大規模 AI 計算網絡的新一輪創新浪潮。ConnectX-8 SuperNIC 的總數據吞吐量為 800 Gb/s,可為萬億級參數的 AI 模型提供所需的速度、網絡健壯性和可擴展性,并與 NVIDIA 交換機無縫集成,以實現最佳性能。

本文將探討 NVIDIA SuperNIC 的獨特屬性及其在推進現代 AI 基礎設施發展方面的關鍵作用。

RoCE 對于 AI 工作負載的重要性

對于 AI 模型訓練來說,在數據中心內的 GPU 之間高速傳輸龐大的數據集是 AI 方案縮短訓練時間和加快上市時間的關鍵。

NVIDIA SuperNIC 具備了出色的硬件 RoCE 加速功能,可實現高達 800 Gb/s 的 GPUDirect RDMA 通信速度,解決了旁路 CPU 在 GPU 之間實現直接數據傳輸面臨的挑戰。

這種直接通信的方法可最大限度地減少 CPU 開銷并降低延遲,在 GPU 顯存之間實現更快、更高效的數據傳輸。在實際應用中,此功能可實現更高的并行度,在 AI 工作負載多節點擴展時,不會出現傳統的基于 CPU 的數據傳輸常見的的通信瓶頸。

通過 Spectrum-X RoCE 動態路由

提升 AI 性能

NVIDIA SuperNIC 的直接數據放置(DDP)功能是 Spectrum-X 平臺提升 AI 網絡性能的關鍵之一。

隨著生成式 AI 工作負載擴展到了數千個節點以上,以等價多路徑(ECMP)為代表的傳統 IP 路由協議再難以處理 AI 模型生成的大規模、持續的數據流(俗稱大象流)。這些流可能會使網絡資源不堪重負,并導致擁塞,從而降低整體網絡性能。

Spectrum-X RoCE 動態路由可以在可用的網絡路徑中動態調整流量的分配,確保需要高帶寬的流以最佳方式路由,以防止網絡擁塞。該方法利用 NVIDIA Spectrum-4 以太網交換機可在多個路徑上均勻分發數據包的負載均衡功能,避免了傳統靜態路由機制造成的瓶頸。

然而,使用這樣的數據包分發的方式,可能會導致數據包亂序問題的出現。

NVIDIA SuperNIC 通過在數據包到達接收端時將其直接按序放入緩沖區來解決了這一問題,確保了應用能收到正確順序的數據。這種 NVIDIA 交換機和 SuperNIC 之間的緊密合作,實現了高效、高速的 AI 工作負載通信,確保大規模 AI 模型能夠持續地處理數據,而不會中斷或降低性能。

解決 AI 網絡的擁塞問題

由于 AI 工作負載的突發性,因此極易受到網絡擁塞的影響。AI 模型訓練(尤其是通過集合通信在多個 GPU 之間進行同步和共享數據時)會產生頻繁且短暫流量峰值,這需要先進的擁塞管理機制來保持網絡的性能。傳統的擁塞控制方法(例如基于 TCP 的流量控制)無法處理這種 AI 獨特的流量模型。

為了解決這一問題,Spectrum-X 采用了基于 Spectrum-4 交換機的實時遙測功能的先進擁塞控制機制,使得 SuperNIC 能夠根據當前的網絡利用率主動地調整數據發送的速率,防止擁塞,避免問題的發生。

通過使用帶內高頻遙測數據,SuperNIC 可以以微秒級精度作出反應,確保即使在高流量條件下也能優化網絡帶寬并盡可能降低延遲。

使用增強的可編程 I/O 加速 AI 網絡

隨著 AI 工作負載日益復雜,網絡基礎設施不僅必須在速度上不斷發展,還需要在適應性方面進步,以支持數千個節點之間的各種通信模式。

NVIDIA SuperNIC 處于這項創新的前沿,提供增強的可編程 I/O 功能,這些功能對于現代 AI 數據中心環境至關重要。這些 SuperNIC 具有加速數據包處理管線,能夠以線速運行,吞吐量高達 800 Gb/s。

通過將數據包處理任務從 CPU 卸載到 SuperNIC,此管道可顯著降低網絡延遲并提高整體系統效率。管道的可編程性由 NVIDIA DOCA 軟件框架提供支持,為網絡專業人員提供了大規模構建和優化網絡的靈活性。

NVIDIA SuperNIC 采用數據路徑加速器(DPA),可增強可編程性。DPA 是一種高度并行的 I/O 處理器,配備 16 個超線程核心,專為處理 I/O 密集型工作負載而設計。它可以通過 DOCA 針對設備仿真、擁塞控制和流量管理等各種低代碼應用程序輕松進行編程。這種可編程性使組織能夠根據其 AI 工作負載的特定需求定制網絡基礎設施,確保數據在保持峰值性能的同時跨網絡高效流動。

保護 AI 網絡連接

保護 AI 模型對于保護敏感數據和知識產權免遭潛在的漏洞和對抗性攻擊至關重要。當您的組織構建 AI 工廠和云數據中心時,您需要有效的安全解決方案來解決可能損害模型性能和可信度的漏洞,最終保護競爭優勢和用戶隱私。

傳統的網絡加密方法通常難以擴展到 100 Gb/s 以上,從而使關鍵數據處于危險之中。相比之下,NVIDIA SuperNIC 可提供加速網絡和在線加密加速,速度高達 800 Gb/s,確保數據在傳輸過程中保持加密狀態,同時實現峰值 AI 性能。

NVIDIA SuperNIC 為 IPsec、TLS 和可擴展的 PSP 加密操作提供硬件加速支持,為保護人工智能網絡環境提供成熟的解決方案。

PSP 由 Google 開發,并為開源社區做出了貢獻。PSP 從一開始就采用無狀態設計,非常適合支持超大規模數據中心環境的需求。該架構允許獨立處理每個請求,從而增強在分布式系統中管理加密操作的可擴展性和彈性。

結束語

在生成式 AI 的動態格局中,NVIDIA SuperNIC 作為 NVIDIA Spectrum-X 和 Quantum-X800 網絡平臺不可或缺的一部分,為網絡的變革時代奠定了基礎。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5109

    瀏覽量

    104531
  • 網絡
    +關注

    關注

    14

    文章

    7655

    瀏覽量

    89654
  • AI
    AI
    +關注

    關注

    87

    文章

    32504

    瀏覽量

    271721

原文標題:NVIDIA SuperNIC 驅動新一代 AI 網絡發展

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    單對以太網技術助力現代通信基礎設施發展

    單對以太網(SPE)技術為現代通信基礎設施帶來了真正的附加價值。Phoenix Contact憑借在SPE領域的全面產品組合,提供技術解決方案和跨行業專業知識。
    的頭像 發表于 02-26 14:19 ?258次閱讀

    DXC實現全球IT基礎設施現代

    -Skanska選擇DXC實現全球IT基礎設施現代化 弗吉尼亞州阿什布恩2025年2月26日?/美通社/ -- 全球領先的《財富》世界500強技術服務提供商DXC Technology
    的頭像 發表于 02-26 11:41 ?83次閱讀
    DXC實現全球IT<b class='flag-5'>基礎設施</b><b class='flag-5'>現代</b>化

    美國投資5000億美元建設AI基礎設施

    美國總統特朗普近期宣布了一項重大投資決策,由日本軟銀集團、美國OpenAI和甲骨文三家頂尖企業聯手,共同投資5000億美元,用于在美國大規模建設支持人工智能(AI發展基礎設施。這一前所未有的投資規模,標志著
    的頭像 發表于 01-22 15:31 ?360次閱讀

    NVIDIA AI正加速推進藥物研發

    在當前的醫療健康領域,AI 的重要性愈發凸顯。NVIDIA AI 正加速推進藥物研發,致力于減少藥物的研發時間和成本,使更多的老年患者能夠更快獲得關鍵治療。
    的頭像 發表于 11-19 16:07 ?392次閱讀

    英偉達與信實集團攜手在印度建設AI基礎設施

    英偉達(NVIDIA)近日宣布了一項重大合作計劃,與印度第二大財團、亞洲首富安巴尼旗下的信實集團(Reliance Industries)建立合作伙伴關系,旨在共同推動印度的人工智能(AI基礎設施建設。
    的頭像 發表于 10-28 16:08 ?376次閱讀

    NVIDIA助力印度打造AI基礎設施

    在孟買舉辦的 NVIDIA AI Summit 上,黃仁勛和穆克什·安巴尼(Mukesh Ambani)探討了關于 AI 基礎設施的投資,這些投資有望為各行各業帶來變革。
    的頭像 發表于 10-27 09:44 ?381次閱讀

    智能駕駛所需的基礎設施

    以及路側基礎設施之間的實時通信。未來,隨著6G網絡的發展,通信性能將進一步提升。 車聯網平臺 :車聯網平臺是連接車輛、云端和路側基礎設施的橋梁。它負責收集、處理和分析來自車輛和路側基礎設施
    的頭像 發表于 10-23 16:05 ?1277次閱讀

    NVIDIA與思科合作打造企業級生成式AI基礎設施

    NVIDIA 加速計算平臺、NVIDIA AI Enterprise 軟件和 NVIDIA NIM 推理微服務加持的思科 Nexus HyperFabric
    的頭像 發表于 10-10 09:35 ?513次閱讀

    微軟貝萊德成立AI基礎設施投資基金

    微軟與全球頂尖資產管理公司貝萊德攜手,共同發起了一項名為“全球人工智能基礎設施投資伙伴關系”的宏偉計劃。該基金旨在匯聚超過300億美元的私募股權力量,以撬動高達1000億美元的巨額投資,專注于構建支撐人工智能發展基礎設施。
    的頭像 發表于 09-19 16:55 ?463次閱讀

    Sam Altman的全球AI基礎設施建設計劃加速推進

    Altman正密鑼緊鼓地籌備一項雄心勃勃的計劃,旨在吸引全球投資者的目光與資金,共同推動人工智能基礎設施的全面建設。這一計劃的輪廓日益清晰,預示著AI時代的新篇章即將開啟。
    的頭像 發表于 09-04 16:13 ?683次閱讀

    借助NVIDIA DOCA 2.7增強AI 云數據中心和NVIDIA Spectrum-X

    NVIDIA DOCA 加速框架為開發者提供了豐富的庫、驅動和 API,以便為 NVIDIA BlueField DPU 和 SuperNIC 創建高性能的應用程序和服務。
    的頭像 發表于 05-29 09:22 ?602次閱讀

    中國電動汽車充電基礎設施發展年報

    電子發燒友網站提供《中國電動汽車充電基礎設施發展年報.pdf》資料免費下載
    發表于 04-18 14:24 ?19次下載

    垂直起降機場:飛行基礎設施的未來是綠色的

    電動垂直起降(eVTOL)飛機的日益發展為建立一個新的網絡來支持它們提供了理由,這將推動開發綠色基礎設施新模式的機會。這些電氣化的“短途”客運和貨運飛機通常被描述為飛行汽車,是區域飛行和城市出租車
    發表于 03-25 06:59

    英偉達擬將收購AI基礎設施虛擬化初創企業Run:ai

    據外媒最新報道,英偉達公司正考慮收購一家名為Run:aiAI基礎設施虛擬化初創企業,雙方的交易金額最高可能達到驚人的10億美元。
    的頭像 發表于 03-22 10:47 ?811次閱讀

    NVIDIA 發布全新交換機,全面優化萬億參數級 GPU 計算和 AI 基礎設施

    NVIDIA Quantum-X800 InfiniBand 網絡,打造性能最強大的 AI 專用基礎設施 NVIDIA Spectrum-X800 以太網絡,數據中心必備的優化
    發表于 03-19 10:05 ?453次閱讀
    <b class='flag-5'>NVIDIA</b> 發布全新交換機,全面優化萬億參數級 GPU 計算和 <b class='flag-5'>AI</b> <b class='flag-5'>基礎設施</b>
    主站蜘蛛池模板: 日韩一区二区天海翼 | 丰满人妻妇伦又伦精品APP国产 | 国偷自产AV一区二区三区健身房 | 大学生高潮无套内谢视频 | 狠狠鲁 我喜欢 | 日本68xxxxxxxxx老师 | 国产真实女人一级毛片 | 日韩欧美精品有码在线播放 | 妻子撸av中文字幕 | 野花韩国免费高清电影 | 亚洲国产成人综合 | 果冻传媒在线播放 免费观看 | 精品久久久爽爽久久久AV | 黄色天堂在线 | 午夜dj影院视频观看 | 日本高清不卡一区久久精品 | 十8禁用B站在线看漫画 | 色婷婷五月综合中文字幕 | 娇小8一12xxxx第一次 | 97人妻AV天天澡夜夜爽 | 久久青草费线频观看国产 | 两个女人互添下身高潮自视频 | 亚洲无吗精品AV九九久久 | 久久精品综合网中文字幕 | 午夜伦伦电影理论片费看 | 中文字幕1| 国产免费播放一区二区三区 | 午夜福利体验免费体验区 | 蜜桃精品成人影片 | 无码爽死成人777在线观看网站 | 日韩高清一区二区三区不卡 | 忘忧草在线影院WWW日本二 | 亚洲色视在线观看视频 | 亚洲天堂2017无码 | 亚洲日韩国产精品乱-久 | 我的漂亮朋友在线观看全集免费 | 国产a级黄色毛片 | 国产精品单位女同事在线 | 婷婷精品国产亚洲AV在线观看 | 久久精品美女 | 国产第一页在线视频 |