HAIL是阿里云數據中心網絡架構的代號，取自High Availability（高可用），Intelligence（智能化），and Low Latency（低延時），代表著阿里云構建數據中心網絡的理念。

本文帶大家探秘阿里云HAIL數據中心網絡，也展望數據中心網絡的未來。

01?云計算數據中心的發展

云計算數據中心是云計算的算力載體，今天所有的云計算服務都在數據中心這樣一個“超級電腦”中進行著快速運算，并通過互聯網將服務快速觸達全球用戶和各行各業。云計算數據中心大致上可與一臺電腦進行類比，包含CPU、GPU、存儲、互聯，以及供電和制冷系統。如果你想了解數據中心網絡，拆開電腦機框，主板上那一條條連接著各種部件的金屬走線所發揮的作用，就是數據中心這個“超級電腦”中網絡在做的工作。當然，數據中心網絡系統遠比一臺電腦的內部互聯復雜得多。

數據中心誕生之前，網絡主要用于全球互聯，以及企業內部的組網互通，俗稱公網和內網。初期的數據中心基于服務傳統企業網的技術進行構建，逐漸發展成為一個獨立的場景?；ヂ摼W和云計算公司為了向公眾提供互聯網服務（如媒體信息、通信交流、搜索查閱、網上購物等），需要自身具備服務全國甚至全球用戶的計算、存儲和網絡互聯能力，這要求后端技術平臺能夠處理高并發的請求，內部系統則要對數據進行快速的存儲、計算、搜索，再經由互聯網絡將結果輸出給用戶。這種模型對互聯網和云計算的集中化算力能力提出了更高的要求，數據中心的場景也隨之誕生。

初期的數據中心網絡采用企業級的網絡設備進行數據中心組網，如VPC、堆疊，大的二層域和OSPF路由協議等。這些網絡技術在較小的組網規模條件下并不會出現太大的問題，但伴隨著互聯網數據中心的算力規模越來越大，企業級的數據中心網絡技術就面臨著性能、穩定性、大規模運營等方面的挑戰。

02?阿里云HAIL全自研數據中心網絡

阿里巴巴從2013年進入標準化數據中心網絡架構階段，開始基于商用設備進行數據中心網絡的標準化構建，并從互聯拓撲、互聯協議層面進行改善，逐步采用標準通用的適合數據中心組網的技術選型。

自2017年，阿里云進入分布式大規模數據中心網絡階段，取名HAIL架構，用“Highly Availability，Intelligence，and Low-latency”描述數據中心網絡的核心理念。

圖 | HAIL：Highly Availability，Intelligence，and Low-latency

同一時期，為了進一步自主掌控數據中心網絡技術棧，為產品打造更高效穩定的網絡基礎設施，阿里云開始了全自研體系的設計和研發。HAIL DC5.2是第一代采用全自研交換機和光互聯的數據中心網絡架構，通過單芯片自研盒式設備來構建多平面scale out（橫向可擴展）的分布式數據中心網絡。

單芯片的架構設計極大地簡化了網絡設備軟硬件復雜度，讓研發工作專注在阿里云HAIL數據中心網絡架構中使用的功能，考慮整網系統的穩定性，而不必開發陷入復雜但效用不高的多芯片軟硬件功能。

多年積累的網絡運維沉淀和自動化平臺能力，使得數據中心網絡系統具備了實現分布式大規模交付運維的條件，大規模網絡設備的交付運維監控自動化，從經驗積累逐步轉變成NET系統平臺（阿里云網絡交付運維自動化的監管控平臺）的能力。

全自研的軟硬件設備會與后端的監控管控自動化作為一個整體進行設計和研發，使得網絡設備與監管控系統的聯動更加順暢，實現了高精度、高實時性的網絡性能監控，快速發現問題并自動化響應，數據中心自研系統成為一個整體，而不單單是自研的網絡設備。

圖 | 阿里云全自研數據中心網絡

自2019年，阿里云新建數據中心就全面采用了基于AliNOS （阿里云自研網絡操作系統）的自研交換機，如上圖，包括園區核心、集群核心、POD核心、接入TOR，以及基于P4可編程的網關設備SNA。

多平面互聯使得網絡集群規模靈活彈性，三層CLOS即可實現從幾千的小集群到十幾萬臺服務器接入的超大集群；

Scale out使得冗余度更高，單臺設備損失對整體數據中心幾乎無感知；

High-radix單芯片設備使得轉發跳數更少的情況下仍可以做到足夠的規模，將數據中心內部的轉發時延壓縮到極致；

兩款設備即覆蓋了數據中心cluster的所有互聯場景，極大降低了供應和運維的邊際成本；

阿里去堆疊雙上聯徹底消除了堆疊系統帶來的穩定性隱患，使得數據中心網絡的穩定性提升了一個數量級，還同時解決了接入設備無法軟件升級的問題，尤其在通過發揮自研網絡快速迭代功能實現業務創新的背景下，網絡團隊在設備升級上掌控主動權顯得尤其重要，有助于提升數據中心網絡的運維可持續性。

03?數據中心網絡的技術趨勢展望

一般而言，云計算數據中心分為兩種類型的網絡服務，一種是面向用戶的網絡服務，即通過互聯網，或通過多數據中心互聯進行數據搬移、訪問請求的網絡能力；另一種是對外部不可見的網絡能力，即內部IO互聯，如大數據處理、分布式存儲等。我們在談論數據中心網絡能力時，更多是在討論后者，即DC as a computer這個“超級電腦”的內部IO互聯（傳統意義上也叫做東西向流量）。

圖 | 數據中心網絡

近年來，隨著計算、存儲、網絡技術的不斷發展，數據中心網絡不但要求“穩定的連通性”和“足夠的帶寬”，而且對“低時延”和“可預期網絡結果”的訴求也越來越明顯。

高性能計算歷來對網絡時延有苛刻的要求，簡單的帶寬堆砌并不能滿足要求；

大數據場景，尤其是人工智能場景的機器學習（特別是深度學習）場景催生了AI革命的到來，訓練推理算力成為各大科技公司的必備基礎設施，這要求網絡的“帶寬+時延”均衡能力，以盡可能短的時間來完成大量數據的分發與聚合；

云計算分布式存儲，本質上是“計算存儲資源分離 + 本地存儲性能要求”，隨著存儲介質性能的升級，對網絡時延越來越敏感，要求不但是“低時延”，在用戶體驗上“穩定可預期的IO”尤為關鍵。

池化也是一個核心趨勢。池化的概念很廣，對云計算數據中心而言，池化是永恒的主題，但不同階段池化的均衡點有所不同。廣義上，云計算本身就是算力的池化，對社會提供共享、低成本、簡單易用的算力，所以計算存儲網絡能力的構建都是以“實現大池的同時又向用戶提供獨享的計算存儲網絡空間”作為目標。狹義上，池化指的是計算、存儲在更小模型尺度上的池化，比如將異構算力做成大池的同時如何做到給用戶以獨享性能級別的算力呈現，比如將存儲做成大池的同時如何給用戶以獨享本地存儲級別的IO性能，其核心挑戰是大規模池化后的系統性能如何隨著規模線性增長，這其中網絡作為系統IO是核心決定因素。

圖 | 異構算力的池化

新的計算模型，以容器為基礎的云原生技術以應用為中心，圍繞應用來構建彈性、簡單復制、高效運維的基礎設施能力，對網絡的要求是“彈性”和“密度”，這看似對網絡的依賴不是很明顯，實際上云原生的形態要求云基礎設施呈現為更廣義的池化形態，使得云原生的計算、存儲、網絡、數據庫等系統可以屏蔽對底層基礎設施的功能感知，這也越來越要求網絡與容器的融合能力提升，云原生的網絡卸載加速會成為未來數據中心網絡的基礎能力。

從“大規模算力互聯”角度來看數據中心網絡未來的發展趨勢：

物理網絡芯片吞吐性能進一步提升

網絡芯片的摩爾演進將進一步提升吞吐性能，這并不單單是通用計算的網絡需求曲線延續（實際上通用計算對網絡增長的需求在放緩，而異構計算仍需求強烈），還包括網絡自身降低單位吞吐成本的目標。在這個過程中會遇到芯片技術、供應生態、成本等方面的挑戰，業界會形成新的應對方式。

低時延轉發

低時延轉發會是高性能計算、AI、存儲和數據庫等池化場景的競爭力核心，這需要端到端網絡的全棧創新，從協議到流控再到網絡轉發。高性能計算、AI相對特殊，需要有獨立的拓撲設計乃至于特定的轉發芯片，這種低時延轉發不是一個絕大多數場景的趨勢和訴求，但這方面的創新會引領帶動其他通用場景的技術演進，發揮“特定場景創新傳導給通用場景”的創新效應。

04?可預期網絡

技術發展是一個螺旋上升的過程，上文提到的數據中心技術趨勢會催生網絡技術的變革。阿里云很早就預見到了這些技術趨勢，并于2019年提出了“可預期網絡”的未來網絡發展方向，近年來也在基于可預期網絡構建整個數據中心體系。

以太網最初以“best-effort”這種簡單粗暴的方式脫穎而出成為主流，將流控、丟包處理等工作交給靈活的端側軟件，通過端到端的機制來實現，以太網自己則專注于轉發，這使得以太網轉發能力一騎絕塵，從全局來看這是一種“最經濟”的分工模式。然而，隨著上文提到的技術趨勢越來越明顯，以太網的“盡力而為”將會成為一些場景下的短板，如何基于以太網實現“可預期”的網絡服務，是網絡發展的關鍵命題?？深A期網絡意味著應用對于網絡的行為結果有相對可控的預期，并基于這個預期來設計應用系統，這會讓應用架構更簡單。就好比交通出行，對于中長途旅行，選擇飛機雖時間短但存在較大延誤風險，選擇汽車可有大致可控的范圍但旅途時間長，而高鐵是準時發車準時抵達，時間相對短且誤差最小，不必擔心因為行程耽誤某個重要會議，這使得整個社會在時間效率上可以做到更好。可預期網絡的理念即是如此，讓應用更簡單，效率更高。

可預期網絡，首先要做的是實現技術棧的自主掌控。阿里云已經實現了基于自研的網卡、交換機、光互聯來構建自主掌控的數據中心網絡，這使得底層網絡變得穩定可控。剛剛過去的云棲大會上，阿里云發布了多項可預期網絡新品，其中的關鍵因素是技術棧的自主掌控。

圖 | 阿里巴巴網絡自研全景圖

阿里云提出協同設計（下圖）的架構理念來實現端到端的可預期網絡。對云計算系統而言，網絡是整體系統設計中的一環，基于協同設計的理念，我們通過網絡與應用的協同設計、端側網絡與交換網絡的協同設計、網絡架構創新升級三個方面來實現可預期網絡，近年來阿里云基礎設施網絡團隊已經在這三個方面已經取得了很多研究研發成果，大部分技術也已經實現了規模部署。

圖 | 端網協同的系統架構與成果

可預期網絡將是一個系統工程，從網絡物理元素的軟硬件全自研，到針對產品技術棧優化的高性能協議和流控，從端到端的網絡系統設計再到基于可編程芯片的硬件加速，最后由網絡后端監管控系統來支撐整體網絡的智能化運維，這些能力融合在一起，形成了一個完整的可預期數據中心網絡體系。

圖 | 阿里云高性能可預期數據中心網絡體系

編輯：黃飛

?