本文來自“A100/H100/GH200集群：網絡架構及光模塊需求”。傳統數據中心經歷了從三層架構到葉脊架構的改變，主要是為了適配數據中心東西向流量的增長。隨著數據上云的進程持續加速，云計算數據中心規模持續擴大，而其中所采用的的虛擬化、超融合系統等應用推動數據中心東西向流量大幅增長——根據思科此前的數據，2021年數據中心相關的流量中，數據中心內部的流量占比超過70%。

以傳統三層架構到葉脊架構的轉變為例，葉脊網絡架構下，光模塊數量提升最高可達到數十倍。

基于縮小網絡瓶頸考慮，大規模AI集群的網絡架構需要滿足大帶寬、低時延、無損的需求。智算中心網絡架構一般采用Fat-Tree（胖樹）網絡架構，具有無阻塞網絡的特點。 同時為避免節點內互聯瓶頸，英偉達采用NVLink實現卡間高效互聯。對比PCIe，NVLink具有更高帶寬優勢，成為英偉達顯存共享架構的基礎，創造了新的GPU到GPU的光連接需求。 A100：網絡結構及光模塊需求測算 每個DGX A100 SuperPOD基本部署結構信息為：140臺服務器(每臺服務器8張GPU）+交換機（每臺交換機40個端口，單端口200G）；網絡拓撲結構為IB fat-tree（胖樹）。 關于網絡結構的層數：針對140臺服務器，會進行三層網絡結構部署（服務器-Leaf層交換機-Spine層交換機-Core層交換機），每層交換機對應的線纜數分別為1120根-1124根-1120根。 假設服務器和交換機之間采用銅纜，基于一條線纜對應2個200G光模塊計算，GPU:交換機:光模塊=14；若采用全光網絡，GPU:交換機:光模塊=16。

H100：網絡結構及光模塊需求測算 每個DGX H100 SuperPOD基本部署結構信息為：32臺服務器(每臺服務器8張GPU）+12臺交換機；網絡拓撲結構為IB fat-tree（胖樹），交換機單端口400G速率，可合并形成800G端口。 針對4SU集群，假設為全光網絡、三層Fat-Tree架構下，服務器和Leaf層交換機使用400G光模塊，Leaf-Spine和Spine-Core使用800G光模塊，則400G光模塊數量為32*8*4=256只，使用800G的數量為32*8*2.5=640只。 即GPU:交換機:400G光模塊:800G光模塊=11:2.5。

GH200：網絡結構及光模塊需求測算 針對單個GH200集群：256張超級芯片GPU互聯，采用2層fat-tree網絡結構，其中兩層網絡均采用NVLink switch來完成搭建，第一層（服務器和Level 1交換機）之間使用了96臺交換機，Level 2使用了36個交換機。NVLink switch的配置參數為：每臺交換機擁有32個端口，每個端口速率為800G。由于NVLink 4.0對應互聯帶寬雙向聚合是900GB/s，單向為450GB/s，則256卡的集群中，接入層總上行帶寬為115200GB/s，考慮胖樹架構以及800G光模塊傳輸速率（100GB/s），800G光模塊總需求為2304塊。因此，GH200集群內，GPU:光模塊=1:9。 若考慮多個GH200互聯，參考H100架構，3層網絡架構下，GPU:800G光模塊需求=1:2.5；2層網絡架構下，GPU:800G光模塊=1:1.5。即多個GH200互聯情況下，GPU:800G光模塊上限=1:（9+2.5）=1:11.5。

總結： 隨著算力集群不斷提升網絡性能，高速光模塊需求彈性加大。以英偉達集群為例，加速卡所適配的網卡接口速率和其網絡協議帶寬密切相關，A100 GPU支持PCIe 4.0，最大支持單向帶寬為252Gb/s，即PCIe網卡速率需小于252Gb/s，因此搭配搭配Mellanox HDR 200Gb/sInfiniband?網卡；H100 GPU支持PCIe 5.0，最大支持單向帶寬為504Gb/s，因此搭配Mellanox NDR 400Gb/s Infiniband?網卡。 所以，A100向H100升級，其對應的光模塊需求從200G提升到800G（2個400G端口合成1個800G）；而GH200采用NVLink實現卡間互聯，單向帶寬提升到450GB/s，對應800G需求彈性進一步提升。 若H100集群從PCIe 5.0提升到PCIe 6.0，最大支持單向帶寬提升到1024Gb/s，則接入層網卡速率可提升到800G，即接入層可使用800G光模塊，集群中單卡對應800G光模塊需求彈性對應翻倍。

Meta算力集群架構及應用 Meta此前發布“Research SuperCluster”項目用于訓練LLaMA模型。RSC項目第二階段，Meta總計部署2000臺A100服務器，包含16000張A100 GPU，集群共包含2000臺交換機、48000條鏈路，對應三層CLOS網絡架構，若采用全光網絡，對應9.6萬個200G光模塊，即A100:光模塊=1:6，與前文測算的A100架構相同。

針對LLaMA3的訓練，Meta使用了H100 GPU，包含IB和以太網集群，最大均可支持3.2萬張GPU。針對以太網方案，根據Meta披露的信息，其算力集群仍采用了有收斂的葉脊網絡架構——每個機架2臺服務器，接入1個TOR交換機（采用Wedge 400），一個集群中有252臺服務器；Cluster交換機采用Minipack2 OCP機架交換機，一個集群中共使用18個Cluster交換機，推算收斂比為3.5:1；匯聚層交換機共18臺（采用Arista 7800R3），收斂比為7:1。集群主要采用400G光模塊，從集群架構來看，以太網方案仍有待在協議層面進一步突破，推動無阻塞網絡的構建，關注超以太網聯盟等進展。 AWS算力集群架構及應用 AWS推出了第二代?EC2 Ultra Clusters集群，包括H100 GPU和自研Trainium ASIC方案。AWS EC2 Ultra Clusters P5實例（即H100方案）提供3200 Gbps的聚合網絡帶寬并支持?GPUDirect RDMA，最大可支持2萬張GPU組網；Trn1n實例（自研Trainium方案）單集群16卡，提供1600 Gbps的聚合網絡帶寬，最大支持3萬張ASIC組網，對應6 EFlops算力。?

AWS EC2 Ultra Clusters卡間互聯分別采用NVLink（H100方案）和NeuronLink（Trainium方案），集群互聯采用自研EFA網絡適配器。對比英偉達方案，AWS自研Trainium ASIC集群單卡上行帶寬推算為100G（1600G聚合帶寬/16卡=100G），因此AWS目前架構中暫無800G光模塊需求。 Google算力集群架構及應用 Google最新的算力集群由配置為三維環面的TPU陣列組成。一維環面對應每個TPU連接到相鄰的2個TPU，二維環面為2個正交的環，對應每個TPU連接到相鄰的4個TPU；目前谷歌TPUv4即三維環面，每個TPU連接到6個相鄰的TPU。

基于此，每個機柜內部構建4*4*4=64顆TPU的3D網絡結構。3D結構的外表部分連接到OCS，則一個4096顆TPU互聯對應64個機柜、48個OCS交換機即48*64=6144個光模塊，內部則采用DAC連接（18000條），則對應TPU:光模塊=1:1.5。在OCS方案下，光模塊需要采用波分復用方案，并增加環形器（Circulator）減少光纖數量，其光模塊方案具有定制化特征（800G VFR8）。

審核編輯：黃飛

?