人工智能在通過大量的數據進行訓練之后，神經網絡打造的完整模型將被集成在邊緣或實際應用場之中，往往大量的AI正是應用在于邊緣AI推理。與AI訓練需要大量的數據和算力不同，AI推理對算力的需求大幅下降，但對成本和功耗更為敏感。

在AI推理應用越來越多的趨勢下，Rambus率先研判與推出GDDR6 IP產品組合。Rambus IP核產品營銷高級總監Frank Ferro先生表示，作為更加理想的方案，GDDR6有著高帶寬以及低時延的特性，能夠幫助邊緣端更好地處理數據。

Rambus GDDR6 PHY以及控制器的配套產品，已經達到了業界領先的24Gb/s的數據傳輸速率，這也是全新的一個行業標桿，可以為AI推理等應用場景帶來巨大性能優勢和收益。

除性能之外，另一大優勢是對功耗的管理。因為當設備在高速和高帶寬環境下運行時，良好的功耗管理非常重要。

還有系統層面的設計。如果要確保系統在24Gb/s環境下運行，需要良好的系統級信號完整性。Rambus信號完整性的工程師，也會與客戶進行非常緊密的從設計初期開始的合作，能夠確保客戶運行系統的時候達到最高的性能。

另外，Rambus提供的產品已經實現了PHY以及控制器的完整集成。在客戶收到產品之后，可以直接對這些子系統進行定制化應用。

GDDR6內存接口子系統的結構

下圖的結構包括PHY物理層、控制器、DRAM以及客戶端的ASIC。



Frank Ferro解析，PHY的物理層與DRAM進行直接連接，這個接口是由兩個16位的插槽所組成，加起來是32位。

另外一側是DFI接口與內存的控制器進行連接，控制器直接接入到整個系統的邏輯控制。Rambus提供的是中間標藍的兩個非常重要的環節，也就是完整的子系統，Rambus會根據客戶具體應用場景和實際的訴求對子系統來進行優化，并將其作為完整的子系統來交付給客戶。

GDDR的“G”代表的是graphic （圖形），因此它可以用于圖形處理，同時也可以用于人工智能以及機器學習算法中，以及網絡應用等。

在GDDR6擁有的諸多特點中，值得一提的是clamshell模式，具體指的是每個信道可以支持兩個GDDR6的設備。換句話說，在clamshell模式之下整個容量是直接翻倍乘以2的。



另外，GDDR6現在已經支持比較先進的FinFET工藝節點，實際上從2019年開始Rambus就已經支持非常先進的制程工藝。

同時，也會針對PCB以及封裝提供相關的參考設計。在內部有專門的信號完整度和邊緣完整性的專家，來幫助客戶去完成整個的設計工作。

Frank Ferro表示，Rambus的GDDR6接口子系統可以實現高達24Gb/s的卓越性能，可以為每個GDDR6內存設備提供最高達到96Gb/s的帶寬。GDDR6是在AI應用場景下比較合理的產品和選擇，因為可以在成本和性能之間達成不錯的平衡。

邊緣AI推理，GDDR6是更合適的選擇

實際上內存的形式有很多種，DDR、LPDDR、GDDR以及HBM等，那么邊緣AI推理用哪種內存最合適，在Frank Ferro看來GDDR6將是脫穎而出的那一個。

他說，GDDR6有著優秀的數據傳輸速率，可適用于很多AI推理場景。尤其在一些網絡應用中，GDDR6能具有重要作用。“現在非常多的具體網絡應用場景都已經開始在邊緣端實現了。尤其是有的應用要求所有傳入的數據必須在本地進行實時處理，這種需求的增加對本身產品架構的要求會很高。因此傳統的DDR方案已經遠遠不能滿足要求，因為需要有很多的DDR設備。而部署GDDR6在邊緣設備，能夠大幅度降低網絡邊緣設備對DDR數量的需求。”

一般來說，AI推理對帶寬的需求在200到500Gb/s的范圍之間。而每一個GDDR6設備的帶寬可以達到96Gb/s，通過將4-5個GDDR6設備組合，就可以輕松滿足500Gb/s及以下的帶寬需求。

以DDR4為例，它的速度可能最高能達到3.2Gb/s。雖然它的成本相對較低，但是速度是一大劣勢。GDDR技術在幾年前就能夠實現16Gb/s的帶寬，已經超過DDR技術的三到四倍之多。當然，DDR、GDDR和LPDDR這些不同的產品都是以標準的DRAM為基礎，LPDDR更關注低功耗管理，DDR本身的數據存儲密度會更高一點，而GDDR是更關注于速度。

此外，如果用到一個HBM3設備就能夠達到接近800Gb的帶寬，但它會使得成本增加3至4倍。因此，對于對帶寬和低延遲有很高要求的AI訓練場景，HBM可能是更好的選擇。而對于需要更大容量、更高帶寬的AI推理場景，則GDDR6是更合適的選擇。

全面的產品組合，滿足中國客戶不同的AI需求

Rambus作為一家業界領先的半導體IP和芯片供應商，技術實力強勁，擁有3000多項技術專利，企業使命是讓數據傳輸更快、更安全。經過三十多年的發展和創新，Rambus現在的主要業務包含基礎專利授權、芯片IP授權和內存接口芯片。Rambus的技術和產品面向的市場是數據密集型市場，包括數據中心、5G、物聯網IoT、汽車等細分市場。其產品組合，與AIGC應用對數據傳輸的需求十分契合。



以ChatGPT為代表的AIGC應用熱潮襲卷到中國，我們可以看到中國不少互聯網大廠都發布了自己的AI大模型。那么Rambus如何支持中國客戶的AI數據傳輸需求呢？

Rambus大中華區總經理蘇雷先生長期投身中國市場，他表示Rambus在和芯片廠商的溝通中發現更多廠商聚焦于AI訓練，因此他們的方案更多需求在于HBM；在與云廠商的溝通中，他們更多是關注數據中心推出的一系列產品，即中國式ChatGPT產品，他們需要更多的算力。在內存產品上，Rambus有非常好的接口芯片，向云廠商提供我們的服務和產品。



還有一類客戶是中國的OEM和ODM廠商，他們把目光轉向了當前非常新的技術CXL。因為CXL可以帶來更多內存帶寬和內存容量，所以我們正在緊密合作提供方案，以加大整個系統內存的帶寬，幫助他們的產品推向市場。

蘇雷說，Rambus China立足于中國市場，愿意更多、更緊密地支持中國公司在ChatGPT產業的發展，以最好的技術、最快的響應和最好的技術支持來服務中國市場，給廣大客戶保駕護航。