來源:逍遙科技 逍遙設計自動化
簡介
隨著人工智能(AI)應用的迅速發展,對大帶寬、高效率數據傳輸解決方案的需求日益突出。目前用于AI訓練和推理的成千上萬個GPU正面臨傳統數據中心網絡互聯方案所帶來的性能瓶頸。這些傳統方案增加了功耗和成本,凸顯了創新解決方案的迫切需求。
光I/O和光電共封裝(CPO)解決方案是最有前途的技術進展之一。通過優化數據吞吐量和系統性能,促進了大型互聯AI集群的發展。這些光學I/O和光電共封裝解決方案需要創新和高度先進的激光封裝策略,以提高系統的性能、可擴展性和可靠性,這對于當前盈利的AI基礎設施部署非常重要。
硅基光電子中的激光封裝硅基光電子通過使用光信號而非電信號,改變了邏輯芯片和存儲芯片內部及之間的數據傳輸方式。這一技術對針對生成式AI的部署變得越來越重要。傳統的基于銅的解決方案日益限制了這些系統的數據流,制約了計算設備和存儲容量的集群規模和數據速率。
可插拔光模塊一直是將電信號轉換為光信號(反之亦然)的最常見方法。CPO技術成功地將I/O模塊從面板上移開,將模塊組件與計算或交換芯片集成到一個封裝中。協同封裝將可插拔收發器的功能直接集成到應用專用集成電路(ASIC)旁邊,減少了高帶寬下銅鏈路的信號損失。
光I/O為分布式計算系統(如需要高帶寬密度、低能耗和低互連延遲的AI集群)提供了一種更集成、更節能的解決方案。這是通過將單個電光芯片與計算ASIC封裝在一起來實現的,該芯片執行由分立模塊構建的收發器的發送、接收和數據轉換功能。
CPO和光學I/O解決方案可以使用集成或遠程光源為其協同封裝模塊或芯片提供光學輸入。讓我們來研究這兩種選擇,并探討它們的優勢和權衡。
集成光源集成光源指的是光源與CPO模塊或光I/O芯片共同定位,靠近GPU或其他計算ASIC的方法。這可以通過將激光器單獨制造并與光電子集成芯片(PIC)共同封裝,或者與PIC單片集成制造來實現。另一方面,遠程光源(也稱為分離式或外部激光器)是獨立封裝的,與CPO模塊、光I/O芯片和ASIC物理分離。
現代AI系統需要非常高功耗的GPU或ASIC芯片,這會導致其周圍環境溫度很高。由于物理接近,集成光源會經歷這些非常高的溫度,而使用遠程光源的系統可以設計為經歷更好的熱環境。
激光器,特別是在先進數據速率所需的高輸出功率下,是光連接解決方案中在高溫下最容易失效的組件,可能會導致整個鏈路失效。遠程光源的優勢在于其所處的熱環境要求較低,延長了其使用壽命,大大降低了故障率和系統停機時間。
此外,遠程激光器可以輕松移除、維修或更換,而不會干擾其他系統組件,如協同封裝的GPU和CPO或光I/O芯片。集成光源可能無法維修,或需要對昂貴的ASIC封裝進行重大修改,從而增加成本和系統停機時間。
業界已經制定了外部激光器小型可插拔(ELSFP)規范,認識到了外部激光器的重要性。這種通用外形因子利用了可插拔模塊的可維修性、可更換性和易部署性優勢,以及CPO解決方案的成本、延遲和信道損耗優勢,同時將供應商和客戶生態系統統一到一個單一的外形因子上。
需要考慮的因素從成本和可靠性的角度來看,光源通常是光連接解決方案中最敏感的組件。設計師和架構師應優先考慮多樣化的供應商和標準化的波長網格,如使用了二十多年的O波段LR4網格。這種方法確保了低設計和供應風險,并建立了一個具有吸引力的大批量成本結構,這對于成功部署光學I/O重要。
連續波波分復用多源協議(CW-WDM MSA)匯集了廣泛的行業利益相關者,包括激光器供應商、收發器制造商、CPO和光學I/O連接供應商等,以促進解決方案之間的互操作性,減少對任何單一供應商或技術的依賴。這種標準化努力對于支持AI、HPC和其他高價值、大批量應用的解決方案重要。
遠程光源的作用AI技術的進步和大型語言模型(LLM)的指數級增長,要求在計算和存儲元素之間有新的數據傳輸解決方案,來適應模型規模和令牌數量的指數級增長。遠程光源是解決這些瓶頸的光學I/O解決方案的關鍵使能技術。
傳統的網絡系統在大型系統內部的連接高度依賴交換機,這會引入延遲并限制高帶寬域的大小。光學I/O解決方案中通常具有的多波長、多端口功能使得在多個設備之間提供直接、低延遲、高帶寬的連接成為可能。這種方法通過消除交換機簡化了系統架構,提高了網絡中數據交換的速度和可擴展性,從而增加了高帶寬域的大小。
AI架構中最大的挑戰之一是"內存墻",即快速增加的內存與計算比率導致操作效率受到與處理器芯片一起封裝的高帶寬內存(HBM)數量的限制。當遠程光源作為光I/O解決方案的一部分時,通過啟用通過超低延遲、高帶寬鏈路連接到GPU的分離式內存集群,緩解了這一瓶頸。
激光封裝技術現在是克服阻礙AI潛力發揮的瓶頸的關鍵構建塊。遠程光源在這一進程中發揮著重要作用,為未來AI系統的發展提供了強有力的支持。
參考來源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049
【近期會議】
10月30-31日,由寬禁帶半導體國家工程研究中心主辦的“化合物半導體先進技術及應用大會”將首次與大家在江蘇·常州相見,邀您齊聚常州新城希爾頓酒店,解耦產業鏈市場布局!https://w.lwc.cn/s/uueAru
11月28-29日,“第二屆半導體先進封測產業技術創新大會”將再次與各位相見于廈門,秉承“延續去年,創新今年”的思想,仍將由云天半導體與廈門大學聯合主辦,雅時國際商訊承辦,邀您齊聚廈門·海滄融信華邑酒店共探行業發展!誠邀您報名參會:https://w.lwc.cn/s/n6FFne
聲明:本網站部分文章轉載自網絡,轉發僅為更大范圍傳播。 轉載文章版權歸原作者所有,如有異議,請聯系我們修改或刪除。聯系郵箱:viviz@actintl.com.hk, 電話:0755-25988573
審核編輯 黃宇
-
激光
+關注
關注
19文章
3249瀏覽量
64730 -
封裝
+關注
關注
127文章
7990瀏覽量
143265 -
人工智能
+關注
關注
1794文章
47642瀏覽量
239636
發布評論請先 登錄
相關推薦
評論