水之積也不厚，則其負大舟也無力，如果將高性能計算、機器學習、大數據、云、web3.0 、存儲平臺等應用看作“舟”，那InfiniBand網絡無疑是承載這些大舟的水。隨著數據的爆發式增長，這些應用對網絡帶寬、延時、效率的要求不斷提升，面對這些挑戰，NVIDIA也相繼推出InfiniBand 100G EDR、200G HDR以及400G NDR的解決方案。

納多德是NVIDIA網絡產品的Elite Partner，在InfiniBand高性能網絡建設與應用加速方面擁有深刻的業務理解和豐富的項目實施經驗。納多德基于QM8700、QM8790交換機、HDR網卡與AOC/DAC/光模塊，構建InfiniBand高性能網絡，提供更出色的數據吞吐和網絡計算能力，滿足越來越高的計算需求。

什么是InfiniBand？

InfiniBand (IB) 是一個計算機網絡通信標準，在高性能計算（HPC）領域有廣泛的應用，可以提供高吞吐帶寬和超低的網絡傳輸時延。IB可以用于計算機內部或外部的數據互聯。通過直連或者交換機互聯的方式，提供服務器與存儲，存儲設備之間的高性能網絡。IB網絡可以通過交換機網絡實現橫向擴展，適應各種規模的組網需求。

圖一 InfiniBand速率演進

作為計算機集群互聯技術，IB技術相比以太網/Fibre Channel 和已經淘汰的Omni-Path技術有明顯的優勢，是InfiniBand Trade Association（IBTA）主要推薦的網絡通信技術。從2014年開始，大多數的TOP500 超級計算機都采用了InfiniBand網絡技術。近些年，AI/大數據相關的應用，也已經大規模的采用IB網絡實現高性能的集群部署，其中Top100的超算中心有62%是使用的IB技術（2022年6月數據）。

圖二 Top 100超算中心網絡選擇

InfiniBand較Omni-Path的優勢

盡管NVIDIA已經推出了IB 400G NDR的解決方案，但現階段仍有部分客戶在使用100G解決方案。對于100G的高性能網絡，常用的方案有Omni-Path和IB兩種，雖然速率相同，性能相似，但網絡結構差異巨大。以400節點集群為例，使用IB方案只需要15臺NVIDIA Quantum 8000系列交換機+200條200G分支線纜與200條200G直連線纜；而使用Omni-Path則需要24臺交換機+876條100G直連線纜（384節點）。IB方案在前期的設備成本以及后期運維成本上都極具優勢，且整體功耗遠低于Omni-Path，更加環保。

圖三 InfiniBand方案與Omni-Path方案對比

InfiniBand HDR產品方案介紹

從客戶端的需求來看，EDR正逐步退出市場，NDR速率太高，目前只有頭部客戶嘗試使用，HDR憑借HDR 100G與HDR 200G的靈活性得到了廣泛應用。在這里，納多德針對HDR產品方案做詳細介紹。

HDR交換機

HDR交換機有兩類，一類是HDR CS8500框式交換機，一臺29U的交換機提供最多800 個HDR 200Gb/s 端口，每個200G端口支持拆分為2X100G，即可支持1600個HDR100 100Gb/s端口。

另一類是QM8000系列盒式交換機，1U的面板上集成了40個200G QSFP56端口，最多可拆分為80個HDR 100G端口用來下連100G HDR網卡，同時每個端口也支持EDR，與EDR的網卡直連，需要注意的是200G HDR端口只能降速至100G與EDR網卡互聯，無法拆分為2X100G連接兩張EDR網卡。

圖四 QM8700前面板

200G HDR盒式交換機有兩種選擇：QM8700和QM8790，兩個型號交換機唯一區別在管理方式上，QM8700有control口支持帶外管理，QM8790則需要NVIDIA Unified Fabric Manager (UFM?) platform進行管理。

圖五 QM8790前面板

對于QM8700和QM8790，每個型號的交換機都有兩種風向選擇，其中8790-HS2F為 P2C airflow(前后風道) 風扇模塊上藍色標記，如果不認識標記，也可以用手浮在交換機的進風和出風口來辨別；8790-HS2R為 C2P airflow(后前風道)風扇模塊上紅色標記。這里P2C和C2P中 P表示Power電源，C表示Cable（線路接口），P2C（Power to Cable），C2P（Cable to Power ）這里參照系是Power電源側為前，Cable線路接口側為后。

表一 HDR交換機型號參數

QM8700和QM8790在實際使用中一般有兩種方式，一是與200G HDR網卡互連，直接使用200G to 200G AOC/DAC即可；還有一種常見的使用方式是與100G HDR網卡互連，需要使用200G to 2X100G線纜，在使用的時候是將交換機的一個物理200G（4X50G） QSFP56端口拆分為2個虛擬的100G（2X50G）端口，在拆分之后該端口的符號從x/y更改為x/ Y /z，其中“x/ Y”表示拆分之前端口的先前符號，“z”表示產生的單車道端口的編號(1,2)，然后將每個子物理端口作為單個端口。

圖六 HDR二層胖樹典型結構

HDR網卡

HDR的網卡相對交換機來說種類豐富很多。首先，在速率上有兩種選擇HDR100與HDR，其中HDR100網卡支持100G的傳輸速率，2個HDR100端口可通過200G to 2X100G線纜與HDR交換機互聯。與100G EDR網卡不同，HDR100網卡的100G端口既支持4X25G NRZ傳輸，也支持2X50G PAM4傳輸。HDR網卡支持200G的傳輸速率，可直接使用200G直連線纜與交換機互聯。除了有兩種接口速率之外，每種速率的網卡可根據業務需求選擇單口和雙口以及PCIe的類型，納多德提供的常用IB HDR網卡型號如下：

表二 HDR網卡型號參數

InfiniBand網絡架構簡單，但方案選擇卻有多樣，100G速率既有100G EDR方案，也有100G HDR方案；200速率也有HDR和200G NDR兩種選擇，不同的方案下使用到的網卡、連接件、交換機都有較大區別。

NADDOD作為NVIDIA Elite級別合作伙伴，可以根據不同客戶的需求提供完整的InfiniBand解決方案。納多德資深技術工程師擁有豐富的InfiniBand高性能網絡方案設計與項目實施服務經驗，可根據用戶不同的應用場景，提供最優的QM8700/QM8790交換機+HDR網卡+AOC/DAC/光模塊產品組合方案，實現超強性能和可擴展性，以更低的成本和出色的性能，為高性能計算 (HPC)、人工智能等應用提高投資回報率。







審核編輯：劉清