通過 PCI Express (PCIe) 和以太網連接的分散計算資源網絡可創建超大規模數據中心基礎設施，從而構建超聚合計算平臺。如圖 1 所示的計算資源網絡主要依賴于兩種接口：PCIe/Compute Express Link (CXL) 和以太網接口，其中PCIe/CXL用于芯片到芯片或機架內連接，以太網用于機架外連接。PCIe 網絡接口卡 (NIC) 將 PCIe 轉換為以太網接口，并允許通過多層網絡交換機實現以太網結構。本文解釋了下一代高性能計算 (HPC) 設計中對 224Gbps 電氣接口的要求，包括信道、信號調制和 SerDes 技術。

圖 1：HPC 作為通過 PCIe 和以太網鏈接的計算資源網絡 ?

下一代電氣接口的需求

? ? 如圖 2 所示，四通道 PCIe 的吞吐量與單通道以太網數據速率最為匹配，比如PCIe 2.0 帶寬 10Gbps、PCIe 3.0 帶寬 25Gbps、PCIe 4.0 帶寬 50Gbps、PCIe 5.0 帶寬 100Gbps。在過去的十多年中，這種奇偶校驗允許 x16 PCIe NIC 與 40G/100G/200G 和 400G 以太網端口連接，無需額外的變速器，從而降低了系統總功率并最大限度地減少了延遲。

?

圖 2：x16 PCIe 吞吐量相當于 x4 以太網端口帶寬 ?

PCIe 6.0 以 64Gbps 的速度運行，為高于 100Gbps 的每通道電氣以太網接口鋪平了道路，使 x16 PCIe 6.0 能夠高效地支持 800G 以太網端口。 ? 此外，數據中心光學器件正在不斷發展，以支持更高的網絡帶寬。表 1 總結了 100G/200G λ 光學器件的發展時間表。帶有 100G λ 光收發器的 800G-DR8/FR8 模塊已開始在 HPC 數據中心部署。四通道 800G 光學模塊和 102.4T 交換機將網絡帶寬翻倍，但這將取決于 200G λ 光學器件和相應的 200Gbps 電氣接口的發展情況。

?
表 1：采用 100G/200G λ 光學器件 ?

?

最后，對于現代高基數交換機，HPC 機架的交換帶寬受到最高密度以太網端口的限制。當前的 400G/800G 以太網端口使用 100Gbps 電氣/光學收發器的四/八通道。表 2 突出顯示了以太網端口帶寬時間表，顯示需要 200Gbps SerDes 才能推出帶有 800G 以太網端口的 102.4T 交換機。 ?
表格 2：工業以太網交換機/SerDes/端口時間表 ?

根據這些趨勢，IEEE 802.3、OTN ITU-T G 和 OIF-CEI 已經啟動了標準化工作，目標是每通道電信號傳輸速率高于 112Gbps。 ?

為什么選擇 224Gbps？

? ? OIF-CEI 旨在標準化一個可與以太網、光纖通道和 Interlaken 等多種協議配合使用的電氣接口。以太網數據速率是媒體訪問控制 (MAC) 層的凈數字吞吐量，以太網建議采用端到端正向糾錯 (FEC) 和編碼方案，從而使產生的原始 SerDes 電氣或線路速率高于每通道以太網吞吐量。例如，使用 Reed Solomon (514-544) 和 256/257 編碼的四通道 400G 以太網需要 106.25Gbps 的有效線路速率。那么，問題來了，當數據速率翻倍后，為什么線路速率不是直接翻倍到 212.5Gbps？反而要談論 224Gbps呢？ ? 一些關于行業論壇的早期討論表明，800G 以太網/1.6T 以太網可能會與串聯或端到端 FEC 配合使用。此外，還要考慮各種 FEC 因素，例如 800G 一致性鏈路的 staircase/zipper 代碼，所有這些都會增加不同的開銷。此外，光纖通道和 InfiniBand 也將會產生不同的開銷。因此，OIF 已開始起草下一代 CEI-224G 電氣接口。 ?

哪種調制方案？

? ? 高階調制可增加每個符號位數或每個單位間隔 (UI) 位數，并在信道帶寬和信號振幅之間提供權衡。標準通常探索更高階數的調制方案以及更高的數據速率。2012 年，PAM-4/6/8 被考慮用于 100Gbps 線路速率，最終 PAM-4 成為 56Gbps 和 112Gbps SerDes 的調制選擇。從整體電氣光學電氣 (E-O-E) 系統視圖，可以很明顯地看出，如果光收發器和電氣 SerDes 的調制方案和數據速率不同，任何 E-O-E 轉換都需要變速器并增加額外的功耗和延遲開銷。因此，電調制方案的選擇與 200G λ 中采用的相同調制方案密切相關。200G λ 光收發器的初步工作顯示 PAM-4 或 PAM-6 調制方案似乎是合理的。 ?

PAM-4 調制提供與前幾代產品的向后兼容性，與更高調制方案相比，可提供更好的信噪比 (SNR)，并允許產生延遲的更低 FEC 開銷架構。然而，由于模擬帶寬限制和通過創新 DSP 方案實現高級均衡，實現則需要更好的模擬前端 (AFE)。 ? PAM-6 調制可編碼每個符號 2.5 位，與 PAM-4 相比，其使用 DSQ-32 實現的 SNR 損耗增加了約 3.2dB。它提供了一種實現 SerDes 的方法，其 AFE 帶寬比 PAM-4 SerDes 低，但 SNR 更高。PAM-6 調制方案增加了更高的 FEC 開銷，從而增加了面積、功耗并降低了編碼效率。 ?

新通道達到 224Gbps 電氣接口

? ? 高速電氣 SerDes 應用不斷發展。OIF 于 2016 年 8 月啟動首個 112G-VSR 項目，并于 2017/18 年增加了多芯片模塊 (MCM)、超短距離 (XSR)、中等距離 (MR) 和長距離 (LR)。2021 年，OIF 啟動了兩個 112G 線性和 112G 超短距離 (XSR)+ 的新項目。OIF 目前正在制定 CEI-224G 標準，以識別和定義典型系統中的下一代電氣接口，用于通過背板/中間板或銅電纜在兩個 PCBA 之間（甚至在兩個機箱之間）的印刷電路板組件 (PCBA) 內的晶粒到晶粒、晶粒到 OE（光學引擎）、芯片到模塊，以及芯片到芯片。 ?

在類似線路中，IEEE 標準委員會最近批準了 IEEE P802.3df 項目授權請求 (PAR)，以定義 200Gbps、400Gbps、800Gbps 和 1.6Tbps 電氣接口的媒體訪問控制參數、物理層和管理參數。工作組將為附件單元接口 (AUI) 和電氣物理介質依賴 (PMD) 的 1/2/4/8 通道變體制定每通道 200Gbps 的電信號標準。

?

圖 3：224Gbps 電氣 SerDes 的早期用例 ?

圖 3 顯示了 224Gbps 電氣 SerDes 的早期用例，業界認為 102.4T 交換機和 800G/1.6T 相干光學模塊將采用該案例，這些模塊需要 224Gbps XSR/XSR＋/VSR/LR SerDes。 ?

224Gbps SerDes 架構

? ? 224Gbps 數據速率將單位間隔 (UI) 設計減少到邏輯延遲的序列。即使采用 PAM-6 調制，224Gbps 數據速率的 UI 也將約為 11ps。從 HPC 數據中心通道的演變角度考慮封裝和 PCB 材料的改進/變化，很明顯，224Gbps 收發器將需要靈活的高帶寬 AFE，以擴展可用晶體管帶寬的邊界。 ?
圖 4：端到端 224Gbps 電氣鏈路，突出顯示接收器 DSP ?

如圖 4 所示，224Gbps 接收器必須具有自適應和差異化 DSP，才能在傳統 VSR/MR/LR 通道中工作。使用 224Gbps 接口時，在某些信道上采用最大似然序列檢測器 (MLSD)是一個常見的選項，但是，提高信道的比特誤碼率 (BER) 并不是一個魔法棒。圖 5 顯示了端到端 224G 發射器到接收器的仿真結果，與 BER 相比，實際 HPC 通道的鏈路損耗各不相同。

?

圖 5：224Gbps 時的 BER 與信道損耗 ?

圖 5 中的紅點和藍點表示具有或不具有 MLSD 的 BER。BER 跨信道損耗的分布和發散需要先進的 DSP 算法，該算法可在圖中以綠點表示的信道損耗之間提供一致的 BER。 ?

總結

? ? 需要 224G SerDes 來繼續 HPC 數據中心的數據處理步伐。以太網已成為現代 HPC 數據中心服務器間通信的事實標準。因此，組織正在定義和開發包括 224Gbps 在內的下一代電氣接口。新思科技提供完整的 200G/400G 和 800G 以太網控制器和 PHY IP 解決方案，包括物理編碼子層 (PCS)、物理介質依賴 (PMD)、物理介質附件 (PMA)?和自動協商功能。雖然 800G 以太網和 1.6T 以太網的定義仍在進行中，但新思科技 的以太網 IP 解決方案已經在每端口帶寬為224G SerDes的 800G/1.6T 早期方案中得到應用了。