流媒體，監視和監視數據，連接的傳感器，社交媒體，在線協作，遠程學習，增強和虛擬現實，在線游戲……在線應用的無休止清單導致在線數據激增。在接下來的10年中，預計年度數據流量將增長400倍以上（圖1）。數據流量的這種快速增長將需要顯著提高數據接口IP的速度和延遲，尤其是在云基礎架構中。本文研究了有助于加快和管理數據中心之內和之間，服務器內以及片上系統（SoC）包內的數據移動的技術發展。

圖1：到2030年的總數據流量預測。資料來源：“人工智能對電子和半導體行業的影響”，IBS，2020年4月。

數據中心內部和之間的遠程數據移動

當今大多數大型數據中心都使用100Gbps以太網基礎結構來長距離移動數據（例如，在機架和數據中心之間）。遠程基礎設施通常依賴于25個或28 Gbps NRZ SerDes電連接的4個通道。但是，隨著數據量的增長，需要更高速度的基礎架構來維持數據移動。使用支持PAM-4編碼的56 Gbps和112 Gbps SerDes IP，可以在當前部署的超大規模數據中心實現400Gbps以太網連接，并在將來達到800Gbps的速度（圖2）。領先的以太網交換機供應商已經在開發基于112G SerDes IP的800Gbps交換機，并計劃在未來幾年內推出1.6Tbps以太網（使用更快的下一代SerDes），以滿足不斷增長的數據量的需求。

機架內服務器之間的數據通信由機架頂（ToR）交換機和每臺服務器內的網絡接口卡（NIC）進行管理。在過去的幾年中，此級別的云數據中心中最常見的接口速度為25Gbps。但是，隨著基礎架構速度增加到400Gbps，機架內的以太網速度也增加到100Gbps。

隨著數據速率的提高，接口功率（通常以皮焦耳/位為單位）和面積變得越來越重要。物理接口（PHY）IP可以最大限度地減少能源消耗，同時在所需的距離范圍內可靠地傳輸數據，具有明顯的優勢，可以最大程度地降低基礎架構電源和冷卻能力的成本。硅面積高效的PHY解決方案將SoC成本降至最低，從而提高了SoC供應商的盈利能力。

圖2：超大規模數據中心基礎架構正在過渡到400 + GbE。

服務器內的數據移動

一旦所有這些數據到達服務器，就需要高速接口以將其有效地在服務器內的設備之間移動。例如，當數據以100Gbps的速度到達NIC時，必須迅速將其移至存儲，系統內存，或者也許移至圖形或AI加速器進行處理。這是PCI Express（PCIe），Compute Express Link（CXL）和類似協議的領域。為了應對流量的快速增長，PCI-SIG在2019年發布了PCIe 5.0，與上一代產品相比帶寬增加了一倍，并計劃在2021年發布PCIe 6.0，這將使PCIe數據速率再次翻倍至64 GT / s （對于x16卡，最高可達128GB / s）（圖3）。

圖3：每個通道的PCI Express帶寬演進。資料來源：PCWorld。

由計算系統生成和處理的數據（尤其是非結構化數據）的數量最近和持續增長，催生了新的體系結構，通常采用加速器來促進數據處理。將數據從一個處理器域復制到另一個處理器域是一個資源密集型過程，可能會增加數據處理的延遲。高速緩存一致性解決方案允許處理器和加速器共享內存，而無需將數據從一個存儲空間復制到另一個存儲空間，既節省了存儲資源，又節省了復制數據所需的時間。

CXL是一種緩存一致性協議，它利用PCIe的數據速率和物理層來使CPU和加速器能夠訪問彼此的內存。當多個設備需要訪問單個數據集時，集成CXL協議有效地減少了非一致性協議必須出現的數據副本的數量，從而減少了系統內所需的傳輸次數。減少數據副本的數量有助于減少系統中已經大量訂閱的內存和IO接口的負載。

與其他外圍互連相比，CXL面向高性能計算工作負載，可顯著減少延遲。由于cxl.cache和cxl.mem事務的延遲僅為50-80ns，因此CXL延遲僅是PCIe延遲的一小部分。此外，CXL通過使用資源共享來提高性能并降低復雜性，這也可以降低總體系統成本。

SOC中的USR / XSR數據移動

許多現代服務器SoC在單個封裝中利用多個管芯，以在設計和制造約束下提供所需的性能。結果，需要高速管芯到管芯（D2D）通信，以在芯片內的管芯之間傳遞大型數據集。超短距離/超短距離（USR / XSR）SerDes使這一切成為可能，當前使用112Gbps SerDes的設計以及未來幾年內可能會出現更高的速度。

使用D2D接口技術的多芯片模塊可解決多種用例。所有D2D用例都減少了開發時間以及開發和制造成本。有些使用多個異類芯片或“小芯片”，它們利用可重復使用的功能組件，每個組件均使用針對其特定功能最佳的制造技術來構建。其他用例則通過創建大型高性能SoC來強調靈活性，該SoC使用較小的同類構建模塊來提高產量和可擴展性。

圖4：管芯到管芯互連的用例示例。

概要

云數據的快速增長推動了對更快，更高效的接口的需求，這些接口要求將云基礎架構中的數據從網絡和系統向下移動到芯片級數據通信。新的和正在開發的接口技術，包括400Gbps和更快的以太網，PCIe 6.0和CXL外圍互連技術，以及用于管芯對管芯通信的新型高速SerDes，可實現支持不斷發展的云數據需求所需的基礎架構增強功能。

Synopsys的DesignWare?高速SerDes和以太網IP支持下一代數據中心網絡解決方案。90％的領先半導體公司都使用DesignWare PCIe IP，它是DesignWare CXL IP的穩定可靠的基礎。DesignWare 112G USR / XSR SerDes IP為多管芯SoC提供了一種低成本，高能效的管芯到管芯接口。Synopsys提供了經過硅驗證的DesignWare接口IP以及開發用于滿足當今和未來云基礎設施不斷發展的數據移動需求的高速，低功耗，高度可靠的SoC所必需的設計和驗證工具的完整產品組合。
編輯：hfy