為使云服務更高效、靈活地為各行業(yè)的業(yè)務創(chuàng)新與智能化轉型提供支持，特別是促進企業(yè)上云、邊緣計算上云，眾多云服務提供商正致力于通過云數(shù)據(jù)中心架構革新和軟件調(diào)優(yōu)來消除基礎設施的能力瓶頸，使其更高效和智能，從而為用戶帶來更強的服務性能、更高的穩(wěn)定性與安全性和更優(yōu)的管控效率。

針對這一需求，英特爾推出了全新的基礎設施處理設備—英特爾 基礎設施處理單元（Infrastructure Processing Unit，IPU）。通過可編程陣列邏輯 （Field Programmable Gate Array，FPGA） 芯片加英特爾 至強 D 處理器組成的硬件加速引擎或單獨由專用集成電路 （Application Specifific Integrated Circuit，ASIC） 芯片，英特爾 IPU 能在軟件加持下，以可編程的方式將網(wǎng)絡、存儲和安全等工作負載從主機側處理器上卸載并進行加速，進而在充分釋放云數(shù)據(jù)中心算力，保持基礎設施高性能、高利用率的同時，實現(xiàn)更靈活地資源調(diào)配，并使云服務提供商能更快地轉向完全虛擬化存儲和網(wǎng)絡架構。另外，英特爾 IPU 作為新基礎設施能力加速引擎，通過與英特爾 至強 可擴展處理器協(xié)同，能充分滿足用戶在更多場景下的云服務需求。

作為合作伙伴，百度智能云與英特爾在云數(shù)據(jù)中心未來建設方向上有著相同理念與愿景，通過在技術層面的深度探討和交流，借力英特爾 IPU 平臺參考設計，自研百度太行 DPU 1.0 產(chǎn)品，積極應對其在云服務實踐中遇到的一系列挑戰(zhàn)。新產(chǎn)品通過在裸金屬服務器和云主機等場景中的部署應用，被證明可成為其未來智能云服務的可靠技術基座。

背景及挑戰(zhàn)

企業(yè)創(chuàng)新應用對云數(shù)據(jù)中心既有能力

提出更高需求

得益于技術與市場的高速發(fā)展，今天的云服務正為千行百業(yè)的生產(chǎn)經(jīng)營、業(yè)務拓展和技術研發(fā)帶來高效、彈性且充沛的算力支持，并助力更多用戶基于云環(huán)境來靈活地部署和運行其企業(yè)級應用。隨著 5G、人工智能 （Artificial Intelligence，AI）、邊緣計算等前沿技術在更多行業(yè)獲得落地應用，企業(yè)級云服務的發(fā)展也出現(xiàn)了許多新的變化與趨勢，包括：

● 更呈分布式的云服務部署：邊緣計算等技術的發(fā)展推動著云服務由傳統(tǒng)的中心云逐漸向“云邊端”協(xié)同演進，更多云服務被部署在貼近應用的邊緣端；

● 更為廣泛的云服務應用場景：云服務正成為更多行業(yè)的 IT 基礎設施之一，在智能制造、智慧金融等新業(yè)態(tài)中擔綱主力，成為各類企業(yè)級應用的堅實技術基座；

● 更復雜的工作負載需求：不同場景的工作負載對資源的需求不盡相同，有些負載需要更多算力，有些負載需要更大內(nèi)存或者加速單元。如何滿足不同工作負載的需求成為企業(yè)上云的考量之一。

實例多樣化以及資源池化

驅動向未來數(shù)據(jù)中心轉型

上述部署方案與應用場景的變化，也讓云數(shù)據(jù)中心服務器在管理與應用上面臨更多挑戰(zhàn)。例如更多虛擬機 （Virtual Machine， VM） 的部署使虛擬機管理等管理任務變得更加復雜。同時，其能力輸出也逐漸從傳統(tǒng)單體式應用向微服務化發(fā)展，這也進一步提高了云數(shù)據(jù)中心管理任務的復雜程度，進而占用大量處理器資源。

既要對虛擬機、微服務，甚至裸金屬服務器等實例開展高效管理，又要對相關的云數(shù)據(jù)中心的網(wǎng)絡、存儲等基礎設施實現(xiàn)加速，其中的復雜性和資源開銷不斷增加，傳統(tǒng)基礎架構何以滿足未來數(shù)據(jù)中心要求就成為現(xiàn)實問題。換句話說，未來數(shù)據(jù)中心需要什么技術來實現(xiàn)轉型？

隨著微服務模型越來越多地用于云數(shù)據(jù)中心的應用，可以預測的是，未來數(shù)據(jù)中心可能具有以下的技術特性：

● 云原生應用的出現(xiàn)和快速增長推高了對專用基礎設施的需求，并大幅提高云服務的敏捷性以及云數(shù)據(jù)中心的效率；

● 云服務的微服務化，推動了分布式異構計算環(huán)境的發(fā)展，而每個微服務都應在更適合的加速節(jié)點上運行；

● 微服務模型的廣泛采用也催生出數(shù)據(jù)中心編排系統(tǒng)，使各異構計算服務器之間實現(xiàn)微服務分發(fā)的自動化及管理；

● 使用微服務、虛擬機、容器以及容器編排的場景不斷增加，推動了服務網(wǎng)格的開發(fā)。服務網(wǎng)格能夠簡化微服務到微服務的通信，并使其更加高效。現(xiàn)在，服務網(wǎng)格已經(jīng)成為云原生堆棧的標準組成部分；

同時，由于不同工作負載或者用戶不同時段對于資源需求的不同，通過資源池化可以更優(yōu)的配置資源以達到彈性擴容的要求。

因此，未來數(shù)據(jù)中心的架構將更多地面向于服務不同的實例且日益資源池化的方向發(fā)展，以此來更好利用異構計算帶來的加速處理能力。這一異構計算的核心將由傳統(tǒng)的處理器平臺，以及由英特爾推出的 IPU 等基礎設施處理設備來組成。在基于這種架構的數(shù)據(jù)中心內(nèi)，服務器與執(zhí)行網(wǎng)絡、存儲等加速的 IPU 設備互聯(lián)互通，不僅傳統(tǒng)的服務器節(jié)點處理能力可在專用計算節(jié)點的支持下得到增強，同時存儲、網(wǎng)絡服務，以及云服務管理包括裸金屬服務器和微服務也能獲得加速。

英特爾 IPU 助力數(shù)據(jù)中心應對變革挑戰(zhàn)

隨著多種實例服務以及資源池化等越來越普遍地用于云數(shù)據(jù)中心的應用、存儲和網(wǎng)絡，傳統(tǒng)數(shù)據(jù)中心也在通過不斷轉型來應對更高的需求和挑戰(zhàn)，并由此向未來數(shù)據(jù)中心演進。在傳統(tǒng)數(shù)據(jù)中心的架構中，通常借助傳統(tǒng)的網(wǎng)卡 （Network InterfaceCard，NIC） 產(chǎn)品來負責執(zhí)行物理層與數(shù)據(jù)鏈路層的數(shù)據(jù)流量處理，而更高層的功能則需要處理器等計算資源的參與。例如，在數(shù)據(jù)存儲過程中，每一次 I/O 都需借助處理器多次上下文切換與內(nèi)存拷貝，以“中斷”模式在用戶態(tài)與內(nèi)核態(tài)進行數(shù)據(jù)交換。

而在提供云服務過程中，這一情況則更為突出。不僅 OpenvSwitch （OVS） 等虛擬交換技術、RDMA over Converged Ethernet （RoCE） 等傳輸存儲協(xié)議以及相應的數(shù)據(jù)安全技術被引入系統(tǒng)架構，同時也衍生出裸金屬、容器云等多樣化的云產(chǎn)品形態(tài)。這些新產(chǎn)品與技術的引入，令云數(shù)據(jù)中心的各類數(shù)據(jù)處理過程變得更為復雜。

這一趨勢，伴隨著數(shù)據(jù)規(guī)模的不斷增大?（端口帶寬正逐步從?25G向100G乃至更高演進），正對云數(shù)據(jù)中心帶來巨大挑戰(zhàn)，包括：

● 數(shù)據(jù)處理的增長速度始終高于算力增長速度，因此對處理器資源的占用率也越來越大。數(shù)據(jù)表明，目前數(shù)據(jù)中心中 30%的計算是在作流量處理，甚至被形象地稱為“數(shù)據(jù)中心稅 （Datacenter Tax）”1；

● 為保障核心業(yè)務的高效執(zhí)行，數(shù)據(jù)中心不得不購置更多處理器資源，帶來云服務總擁有成本 （Total Cost of Ownership，TCO） 的增加，進而抬升最終用戶部署和使用云服務的成本；

● 更大的數(shù)據(jù)規(guī)模和處理復雜度，也對數(shù)據(jù)中心的各項基礎設施性能，包括網(wǎng)絡 I/O、轉發(fā)、存儲、安全以及管理等造成影響，阻礙云數(shù)據(jù)中心增加網(wǎng)絡吞吐量、降低網(wǎng)絡延遲等性能優(yōu)化。

在這一背景下，不斷革新的云數(shù)據(jù)中心亟待尋求一種全新的智能架構來化解上述挑戰(zhàn)。對傳統(tǒng)網(wǎng)卡產(chǎn)品進行“擴容賦能”，是業(yè)界解決數(shù)據(jù)處理負載過重的最初方案。這一被稱為智能網(wǎng)卡 （SmartNIC） 的產(chǎn)品，通過在網(wǎng)卡中加入用于處理和轉發(fā)不同端口上各種類型的數(shù)據(jù)等功能，從而實現(xiàn)更多的算力釋放、更佳的網(wǎng)絡性能表現(xiàn)，并降低處理延遲。但是這種智能網(wǎng)卡由于缺乏計算單元，往往只能做到數(shù)據(jù)平面的卸載，控制平面以及Hypervisor 等基礎設施管理負載仍然需要主機處理單元來完成，做不到基礎設施處理的全卸載。

英特爾通過對數(shù)據(jù)中心基礎設施能力進一步分析與整合，推出了英特爾 IPU （Intel Infrastructure Processing Unit），將數(shù)據(jù)平面，控制平面以及 Hypervisor 等基礎設施管理負載和云服務基礎設施能力都從主機服務器中卸載，一方面讓寶貴的算力資源更多地用于用戶關鍵業(yè)務，另一方面也通過將各種能力卸載到專用設備獲得加速，有效提升各種數(shù)據(jù)處理負載的執(zhí)行效率，來全面幫助云數(shù)據(jù)中心構建新的基礎設施能力加速引擎。

解決方案：以英特爾 IPU，構建云數(shù)據(jù)中心加速強引擎

IPU 是全新的產(chǎn)品形態(tài)。它在涵蓋智能網(wǎng)卡功能的同時，更能為未來云數(shù)據(jù)中心帶來更高級別的安全性和控制力。其優(yōu)勢包括：

● 卸載高密集的基礎設施應用任務到 IPU 并進行加速，如加密和解密以及數(shù)據(jù)包處理；

● 在極端情況下，IPU 可以卸載整個虛擬機管理程序，釋放處理器所有內(nèi)核為應用和微服務提供支持，這對于裸金屬服務產(chǎn)品來說至關重要；

● 減少了主機側處理器中虛擬機管理程序和基礎設施堆棧的開銷，并可以從主機側處理器中卸載存儲堆棧，使更多的處理器資源可用于應用和租戶工作負載；

● 使租戶應用和基礎設施管理解耦，實現(xiàn)更高安全性和可控性；

● 為裸金屬和云主機統(tǒng)一云管控創(chuàng)造了可能。

如圖 1 所示，英特爾 IPU 產(chǎn)品在配置了 FPGA 芯片或者 ASIC 中的專有硬件加速器之外，也加入通用處理器來對各類基礎設施控制面功能實現(xiàn)卸載。這種將專用可編程硬件與通用處理器相結合的方式，不僅能使云數(shù)據(jù)中心中各基礎設施能力獲得預期加速，滿足不斷增長的網(wǎng)絡數(shù)據(jù)處理需求，也能實現(xiàn)對控制面功能的靈活管理與操控，實現(xiàn)更優(yōu)的系統(tǒng)級安全、控制和管理能力。

以目前英特爾面向市場的 IPU 主力產(chǎn)品英特爾 FPGA IPU C5000X-PL （代號“Big Spring Canyon”） 為例，如圖 2 所示，其具備 2 個 25G 端口 （使用 SFP28 光口），可提供 50G 的網(wǎng)絡吞吐能力;核心處理能力則由所搭載的英特爾 Stratix 10 DX FPGA 芯片與英特爾 至強 D 處理器擔綱。

其中，英特爾 Stratix 10 DX FPGA 可編程邏輯芯片能充分發(fā)揮其硬件可編程特性，通過先進的架構設計、封裝技術、相比前一代 FPGA 擁有更多的收發(fā)器并支持硬核 PCIe Gen4 接口，從而實現(xiàn)更高的帶寬，以定制化設計來實現(xiàn)高吞吐和低延時的性能表現(xiàn)， 完成 I/O 虛擬化、OVS 轉發(fā)等任務，實現(xiàn)基礎設施管理、網(wǎng)絡和存儲功能的卸載。

英特爾 至強 D 處理器則通過高度集成的設計，不僅能以卓越的單核性能來承載控制面的各項功能，支持 Hypervisor，還能以良好的 x86 兼容性以及與其它英特爾 架構硬件形成的良好生態(tài)，幫助用戶實現(xiàn)系統(tǒng)代碼或應用能力的快速遷移，從而提升卸載效率。

卸載基礎設施能力與釋放算力

借助上述兩種芯片，如圖 3 所示，云數(shù)據(jù)中心能夠有效地將網(wǎng)絡、存儲、安全以及基礎設施管理等多種能力從處理器卸載到 IPU，從而實現(xiàn)算力釋放，并加速多種基礎設施能力。這些能力包括：

● 網(wǎng)絡加速：將承載網(wǎng)絡 I/O、數(shù)據(jù)轉發(fā)等功能的虛擬交換機軟件，如 OVS 等從主機側處理器卸載到 IPU，提升網(wǎng)絡吞吐量，減少網(wǎng)絡處理時延；

● 存儲加速：將 virtio-blk、NVMe-oF 等存儲接口、協(xié)議棧從主機側處理器轉移到 IPU，提高存儲彈性和靈活性，并降低系統(tǒng)復雜性和開銷；

● 安全加速：可以從主機側處理器卸載加密/解密、壓縮和其他應用功能；

● 基礎設施處理：將云服務管理功能從主機側處理器卸到 IPU，使虛擬機、容器或裸金屬服務的分配和管理更為高效。

除了引入性能更強且具備靈活可編程特性的硬件來面向特定功能進行優(yōu)化加速，釋放更多寶貴算力之外，英特爾也賦予了 IPU 產(chǎn)品豐富的軟件生態(tài)。目前，英特爾正以加速開發(fā)平臺 （Acceleration Development Platform，ADP） 為抓手，優(yōu)化生態(tài)系統(tǒng)，助力合作伙伴實現(xiàn)云數(shù)據(jù)中心性能加速解決方案的快速開發(fā)和部署。在規(guī)劃中，ADP 平臺將為用戶提供通過英特爾 開放式 FPGA 堆棧 （英特爾 OFS） 實現(xiàn)的板卡硬件設計、軟件、驅動程序以及技術設計支持。用戶可以利用這些軟件工具與技術支持，加速 IPU 相關產(chǎn)品的開發(fā)，并迅速將產(chǎn)品推向市場。

對接英特爾 至強 可擴展處理器，

提升云數(shù)據(jù)中心算力

在英特爾為用戶提供的高效能云數(shù)據(jù)中心生態(tài)方案中，不僅可以通過英特爾 IPU 開展能力卸載，對基礎設施進行性能加速，也可以引入英特爾 至強 可擴展處理器來進一步加強算力。通過對算力的“開源節(jié)流”，實現(xiàn)更快的數(shù)據(jù)處理速度、更大的帶寬接入能力以及更低的網(wǎng)絡時延。

第三代英特爾 至強 可擴展處理器可為服務器帶來的性能增強包括：

● 更多的內(nèi)核、更優(yōu)的架構帶來算力性能的大幅提升，可有效應對高密度計算所需；

● 支持更多內(nèi)存，支持 PCIe Gen4，可實現(xiàn)更高的每核 I/O 帶寬；

● 多項內(nèi)置增強技術，如英特爾 深度學習加速技術 （英特爾 DL Boost） 等可在人工智能等場景提供強大加速能力。

在算力架構中引入英特爾 至強 可擴展處理器的另一個優(yōu)勢是能夠有效提升能力卸載的效率和平滑性。由于主機側和 IPU 都采用基于英特爾 架構的處理器 （英特爾 至強 可擴展處理器和英特爾 至強 D 處理器），這樣將原先主機側運行的應用遷移到 IPU 上就變的非常方便，甚至無需編譯即可遷移。例如 DPDK、SPDK 等軟件就可以從主機側直接遷移到 IPU 上運行，從而大幅提升開發(fā)、部署和測試的效率。

這一算力架構正幫助云數(shù)據(jù)中心形成更高效的能力輸出。以裸金屬服務器為例，作為兼具物理機的高性能和高安全性，裸金屬正越來越多地被部署在關鍵業(yè)務場景中。但傳統(tǒng)上，由于裸金屬的云管理能力由處理器承載，而裸金屬又具有用戶獨占處理器資源的特性，因此裸金屬無法像虛擬云主機那樣便捷彈性地向用戶提供算力。

借助英特爾 IPU 提供的云管理能力卸載，裸金屬可以實現(xiàn)基礎設施管理面與租戶間的物理隔離，利用 VirtIO 設備熱插拔特性支持彈性服務。而第三代英特爾 至強 可擴展處理器的加入，則進一步提升了裸金屬中可供調(diào)度分配的算力，可以幫助云數(shù)據(jù)中心有能力為用戶關鍵業(yè)務提供更具性能、更安全的服務，并提升算力資源的利用效率，從而提供兼具性能和性價比優(yōu)勢的云服務能力。

助力百度智能云打造更高效可靠的云服務能力

作為領先的云服務提供商，百度智能云在云數(shù)據(jù)中心建設方向上與英特爾有著同樣的理念，即應該將基礎設施能力的相關開銷全部從主機側處理器卸載到專門的基礎設施處理單元上并實施性能加速，以便釋放算力，優(yōu)化整體性能，從而打造高效，安全和可編程的未來數(shù)據(jù)中心。

來自百度智能云的實踐表明，持續(xù)向各個領域延伸，并承載越來越多核心業(yè)務能力的云服務，正面臨著需要更強算力資源、更大帶寬接入和更低網(wǎng)絡時延的挑戰(zhàn)。以百度智能云獨具優(yōu)勢的 AI 云服務為例，目前 AI 算力需求比之前已提升數(shù)個數(shù)量級，元宇宙的算力需求還要再提升 1000 倍2。因此要貫徹上述理念，需要更為強勁的技術底座予以支持。

為此，百度智能云致力于發(fā)展軟硬件結合的云計算基礎設施，通過自研的百度太行 DPU 系列產(chǎn)品，并融合其在云服務領域的豐富經(jīng)驗以及大量真實需求，來應對云服務實踐中遇到的算力、網(wǎng)絡、存儲、安全等一系列挑戰(zhàn)。

”

“云計算正與其它技術浪潮一起，推動各行業(yè)的數(shù)字化、智能化轉型。在這一進程中，我們第一次自研推出 DPU 設備 — 百度太行 DPU1.0。它能夠支持太行彈性裸金屬服務，實現(xiàn)網(wǎng)絡卸載、PCIe 設備熱插拔等功能，讓云計算的虛擬化開銷很大程度沉淀在網(wǎng)卡上，使云產(chǎn)品的性能大大提升。”

——侯震宇，百度集團副總裁

如圖 5 和 表 1 所示，百度太行 DPU 1.0 產(chǎn)品配備了 2 個25G帶寬的光口，并引入英特爾 FPGA 與英特爾 至強 D 處理器作為算力核心，來實現(xiàn)各項虛擬化功能的卸載，在為用戶提供彈性網(wǎng)卡、彈性存儲能力之余，還支持 1024 個設備的熱插拔。同時，通過將云管控平面卸載到百度太行 DPU 1.0中，也可以實現(xiàn)虛擬云主機和裸金屬共池，即裸金屬可與虛擬云主機被統(tǒng)一靈活調(diào)度。來自百度智能云的測試驗證表明，百度太行 DPU 1.0 產(chǎn)品能夠為用戶提供 1000 萬 PPS 的轉發(fā)率

以及 20萬 IOPS 的存儲性能3。

現(xiàn)在，百度太行 DPU 1.0 產(chǎn)品已在太行彈性裸金屬等多種云服務場景中開展應用并獲得了用戶好評。實踐證明，百度自研的百度太行 DPU 1.0 可以有效解決云數(shù)據(jù)中心管理及虛擬化的局限性，幫助百度智能云保持優(yōu)勢。在百度智能云的計劃中，這一 DPU 產(chǎn)品也將作為其智能云服務的核心組件，助力其構建基礎設施即服務 （Infrastructure as a Service，IaaS） 資源的統(tǒng)一彈性底座，進而為用戶依托百度智能云開展各類業(yè)務創(chuàng)新、實施產(chǎn)業(yè)智能化轉型提供高效且可靠的性能保障。

總結與展望

隨著英特爾 IPU 以及基于其參考設計研發(fā)的相關產(chǎn)品在云數(shù)據(jù)中心的基礎架構革新中展現(xiàn)出顯著性能優(yōu)勢和市場價值，并逐步形成可持續(xù)發(fā)展的生態(tài)鏈，英特爾與百度智能云等深度合作伙伴也正圍繞云服務的未來發(fā)展方向，從軟硬件層面開拓更多優(yōu)化方案。例如通過新的英特爾 IPU 平臺提供更大網(wǎng)絡吞吐量，實現(xiàn)對基礎設施管理的全面解耦，以及以極低時延實現(xiàn)端到端的加速等。

面向未來，英特爾還計劃在 IPU 產(chǎn)品體系上持續(xù)發(fā)力。如圖 6 所示5，英特爾在 2022 年將推出兩款第二代 200G 的可編程IPU， 代號分別為“Oak Springs Canyon”和“Mount Evans”。其中，Oak Springs Canyon 搭載了英特爾 至強 D 處理器與英特爾 Agilex FPGA 芯片；而 Mount Evans 則是英特爾首款基于 ASIC 芯片的 IPU 產(chǎn)品。這兩款產(chǎn)品都將具有卸載200G 工作負載所需的基礎設施加速能力，且都可與英特爾 至強 可擴展處理器協(xié)同工作。未來兩到三年內(nèi)，英特爾將推出支持 400G 的 IPU 產(chǎn)品，在 2025 年或晚些時候，推出新一代基于 FPGA 芯片和 ASIC 芯片 的 800G IPU 產(chǎn)品。

與此同時，英特爾也正進一步背靠豐富的開源軟件，如基礎架構編程人員開發(fā)套件 （International Package and Development Kit ，IPDK）、SPDK、DPDK 等，致力于通過開放的生態(tài)系統(tǒng)、多方位的行業(yè)協(xié)作以及積極的社區(qū)互動，讓百度智能云等云服務提供商、云服務最終用戶以及其它合作伙伴能加速IPU 相關解決方案的構建，從云數(shù)據(jù)中心基礎架構的持續(xù)革新中擷取更大價值。