服務器是一種為客戶機提供服務的高性能計算機。關于服務器最全分析材料請參考文章“終極版:服務器基礎知識全解(182頁PPT)”。
主板芯片組以前均采用雙芯片架構,即 MCH+ICH(北橋芯片+南橋芯片,MemoryController Hub+ I/O Controller Hub),2012 年 Intel 推出單芯片架構后成為主流,即北橋芯片被集成到 CPU 中,南橋芯片改為 PCH(Platform Controller Hub,平臺管理器中樞)。未來,PCH 有進一步集成到 CPU 中的趨勢。
南橋芯片(South Bridge,SB)/PCH:處理輸入輸出(Input/Output,I/O)數據,負責 PCIe 總線、USB、ATA、SATA、音頻控制器、鍵盤控制器、高級電源管理和實時時鐘控制器等間的通信。位于主板上離 CPU 較遠的下方,原因是連接的 I/O 總線較多,遠離 CPU 有利于布線。南橋芯片最初發展方向是集成主板上更多的通信功能,如網卡和 RAID 等,但 AMD 銳龍低端芯片組許多產品取消了南橋,只支持 CPU所支持的拓展,AMD 最新 Zen2 架構平臺上,南橋僅使用 PCI-E X4 通道和 CPU 連接,將通道拆分后支持幾個 PCIe 接口、USB2.0 和 SATA 接口。
北橋芯片(North Bridge,NB):負責 CPU 與內存、加速圖形顯卡(Accelerated GraphicsPort,AGP)以及 PCIe 總線的通信協調,位于主板上離 CPU 最近的位臵,從而縮短傳輸距離提高通信性能。北橋芯片最初僅作為內存控制器出現在主板上,此后又擴展了各種控制器,如加速圖形顯卡。但由于延遲大和故障率高等問題,逐漸被取消。Intel 于2012 年推出單芯片架構,只保留南橋芯片(改名為 PCH,Platform Controller Hub),將北橋芯片集成到 CPU 中,以 PCIe 控制器和內存控制器的形式分散存在于晶圓的不同位臵。
隨著 CPU 集成度不斷強大,主板芯片組的功能有被弱化的趨勢,CPU 廠商對芯片組的話語權也在持續提高。服務器芯片組生產商曾經生產包括 Intel、AMD、Nvidia 和 VIA(臺灣威盛)等,目前 Intel 和 AMD 占據主要市場份額,尤以 Intel 為甚,部分國產 CPU 參與者由于設計能力欠缺采用 Intel 或 AMD 的芯片組。
總線是主板傳輸數據的“道路”,負責 CPU 與芯片組(PCH)、PCH 與功能芯片的連接,包括 QPI、PCIe、DMI、SATA、SAS、SPI 總線等。其中,CPU 與 CPU、CPU 與 PCIe 設備分別通過 QPI 總線和 PCIe 總線連接,PCH 與 USB、SATA 硬盤、SAS 硬盤和網卡等分別通過 USB 總線、SATA 總線、SAS 總線、PCIe 總線等連接,BMC(Baseboard Management Controller,基板管理控制器)與其他設備通過 SPI 總線連接。
PCIe 總線,負責連接擴展 I/O 設備,具有高速低時延的性能,滿足服務器高速運算、快捷訪問數據、訪問外設和訪問網絡的需求。由于是對前兩代(ISA 和 PCI/PCI-X)的升級,PCIe總線又被稱為第三代 I/O 總線(3GIO),相比于前兩代,數據傳輸速率更高、傳輸距離更遠、功耗更低、抗干擾能力更強,可以連接各類高速擴展設備,典型如加速圖形顯示處理器 GPU(Graphics Processing Unit),此外還有 AI 加速卡、PCIe 網卡和視頻監控卡等。
傳輸速率和帶寬大小是 PCIe 總線的核心性能,圍繞這兩大性能,PCIe 總線有特定的升級標準,該標準自 2001 年確定 1.0 至今,經歷了 2.0、3.0 和 4.0 時代,在 4.0 確立之前,大概按照每三年一代的周期實現性能指標升級。PCIe 標準由特殊興趣組織 PCI-SIG 組織負責發布,該組織最初由 Intel 牽頭設立,目前擁有近 800 名會員。2017 年,PCI-SIG 發布 PCIe 4.0標準,2019 年 5 月發布 PCIe 5.0。預計 PCIe 6.0 也將于 2021 年發布。
PCIe 1.0、2.0、3.0傳輸速率分別為2.5GHz、5GHz和8GHz,單lane帶寬分別達到250MB/s、500MB/s 和 1GB/s。PCIe 總線由不同 lane 連接,多個 lane 合在一起可提供更高帶寬,兩 個單 lane 合成 x2,兩個 x2 合成 x4,兩個 x4 合成 x8,目前最大為 x16,帶寬需求大的加速顯卡需使用 PCIe x16。從主板插槽形態上看,x1 最小,x16 最大。PCIe 4.0 可以帶來最大64GBps 的吞吐量(PCIe x16),而 PCIe 5.0 則增加到 128GBps(PCIe x16)。
標準從落地到商用仍有一定周期。雖然 PCIe4.0 標準早在 2017 年發布,但是根據 Intel 產品路線規劃圖,適配 PCIe4.0 的 CPU 規劃在 2020 年 Q2 以后發布的 Whitley 平臺第二代 IceLake 中出現,而適配 PCIe5.0 的 CPU 規劃在 2021 年發布的 Eagle Stream 平臺出現。因此預計 PCIe6.0 商用還有至少三年以上。
PCIe高速設備包括 GPU、AI 加速卡、視頻監控卡、PCIe 接口 SSD 和 PCIe 網卡等,伴隨PCIe 升級至5.0,通過 PCIe 總線連接 CPU 的以上高速設備有望同步升級。
PCIe總線屬于串行點對點雙通道傳輸,在 x86 系統中體系架構主要由 root complex、switch和 endpoint 三類 PCIe 設備構成。BDF(Bus、Device、Function)構成每個 PCIe 設備節點的身份證號,一般 PCIe 協議支持 256 個 Bus(總線), 每條 Bus 支持 32 個 Device,每個 Device 支持 8 個 Function。PCIe 總線標準升級帶寬翻倍的同時,外接的 PCIe 設備帶寬可以實現更大提升。根據 PCI-SIG 官方顯示,使用 PCIe 總線與 CPU 通信的服務器 I/O 擴展設備,帶寬每三年翻一倍。
“CPU+芯片組+總線”平臺升級按照 2~4 年周期向前推進,由于 CPU 內部主要集成內存控制器和 PCIe 控制器,內存和 PCIe 總線是平臺升級的兩大關鍵,需要同時配合 CPU 的升級進度實現性能提升。2017 年 7 月 Intel 發布的 Purley 平臺(包括 Skylake 和 Cascade Lake兩代),相較于上一代 Grantley 平臺:
(1)通道增加 50%,支持 6 通道DDR4;
(2)PCIe接口增加 20%,支持 48 個 PCIe3.0 接口。此外,采用全新的 6*6 的 Mesh 互連架構,I/O位于頂部,內存通道在兩側居中的位臵;CPU 由上一代最大 24 核提升至 28 核;CPU 之間的互連從 9.6GT/s 的 QPI,升級為 10.4GT/s 的 UPI。
根據Intel 規劃路線,最新一代 Whitley平臺于 2020 年發布,包括 Cooper Lake 和 Ice Lake兩代,按計劃分別于年初和 Q2 面世。其中,Cooper Lake 沿用 PCIe3.0 通道;Ice Lake 將首度支持 PCIe4.0。下一代 Eagle Stream 平臺于 2021 年發布,包括 Sapphire Rapids 和Granite Rapids 兩代,分別于 2021 年初和 2022 年初面世,同步支持 PCIe5.0。
在使用 PCIe3.0 接口的情況下,信號傳輸速率為 8Gbps,服務器主板 PCB 在 8~12層時就可以滿足要求,相對應的CCL 材料 Df 值在0.014~0.02 之間。未來,對于 PCIe4.0接口 16Gbps 的傳輸速率,PCB 層數需要相應提高到12~16 層,CCL 材料 Df 值在0.008~0.014 之間,以 FR4 為主,處于中損耗等級;而對于 36Gbps 傳輸速率的 PCIe5.0接口,PCB 層數需要達到 16 層以上,CCL 材料 Df 值需要低于0.008。
PCIe5.0 標準落地,但距離芯片商產品兼容尚需時日,目前 Intel Purely 和 Whitley 平臺分別兼容 PCIe3.0 和 4.0,兼容 5.0 的 Eagle 平臺正在開發中,因此假設 2019 年服務器產品以低等級的 3.0 為主,到 2020 年 Whitley 平臺滲透率可提升至 50%,到 2021 年 Eagle平臺實現落地商用;
服務器主板 PCB 使用規格受服務器類型的影響,從全球服務器發貨量來看,雙路服務器占據主導位臵,因此我們采用保守估計的方法,按照雙路服務器 45cm*45cm 的規格計算主板 PCB 使用需求;此外,服務器內除主板外、I/O 板、硬盤和背板等也是高速 PCB 的關鍵應用場景。
機箱主要由箱體、硬盤背板、電源、電源背板、散熱風扇、硬盤支架、線類和接頭、以及開關和指示燈等組成。由于 CPU 平臺換代升級導致功耗增加,服務器機箱散熱和電源模塊方案同步發生變化。一方面改善供電方案,提高電力使用效率,在降低成本的同時還能簡化運維;另一方面,采用更好的溫控和散熱系統,目前液冷已經成為數據中心制冷新風尚。
數據中心溫控系統主要包括空調機組、氣流組織和服務器散熱:
(1)空調機組從風冷型、水冷型向冷凍水型、雙冷源型過渡,氣流組織也從傳統的機房級向更精準的機柜級演進;
(2)服務器功率大幅提升,液冷(冷板、浸沒、噴淋三種部署方式)逐漸取代傳統風冷成為新模式。
數據中心電源需求包括兩塊,一部分是機房系統供電,另一部分是單臺服務器模塊電源供電。數據中心規模化建設或將帶動系統供電需求,服務器需求增加、CPU 功耗提升或將帶動模塊電源量價齊升。
數據中心供電方式有傳統 UPS(Uniterruptible Power Supply,不間斷供電)和 HVDC(HighVoltage Direct Current,高壓直流)兩種。
UPS 工作原理是市電輸入 UPS 系統,經過整流器將交流電(AC)轉換為直流電(DC),一部分直流電源為蓄電池充電,其余部分通過逆變器轉換為交流電(AC)為服務器機柜供電。當市電不正常時,由蓄電池經逆變器向服務器機柜供電。這種系統大大提高供電的穩定性,成熟度高且廣泛使用。
HVDC高壓直流是一種輸入市電交流電,輸出直流電的電源(UPS輸入和輸出均為交流電的電源)。相較于UPS,HVDC在備份、工作原理、擴容以及蓄電池掛靠等方面存在顯著的技術優勢,因而具有運行效率高、占地面積少、投資成本和運營成本低的特點,正逐步獲得通信基站運營商和數據中心云服務廠商的青睞。
-
電源
+關注
關注
184文章
17835瀏覽量
251714 -
服務器
+關注
關注
12文章
9295瀏覽量
86025 -
主板
+關注
關注
53文章
1917瀏覽量
71356
原文標題:服務器主板及電源介紹
文章出處:【微信號:AI_Architect,微信公眾號:智能計算芯世界】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論