色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

生成式AI的I/O瓶頸,或許可以用光子IC來突破

E4Life ? 來源:電子發燒友網 ? 作者:周凱揚 ? 2023-10-13 00:02 ? 次閱讀

電子發燒友網報道(文/周凱揚)從回答問題對話到寫文章,ChatGPT這類應用已經幫我們展示了生成式AI帶來的第一波震撼,從OpenAI的路線也可以看出,他們已經在努力把處理對象從單純的文字,轉換成圖片、音頻乃至視頻了。但這也意味著待處理的數據大小以數量級提升,畢竟再長的文本和視頻文件大小比起來還是相去甚遠。

I/O瓶頸

要想進一步提升生成式AI的處理性能,我們就不得不看下背后為其提供動力的基礎設備,也就是GPU、AI加速器、高帶寬內存和光模塊。AI模型發展的早期,只需單個GPU甚至是CPU就能處理簡單的AI模型,而如今這些先進的AI模型,沒有大型機柜組成的服務器和成千上萬個GPU,是很難運行起來的。

比如特斯拉老版的自動駕駛訓練超算,就是由720個節點的8x英偉達A100 GPU構成的,算力高達1.8 EFLOPS。小鵬于去年建成的智算中心扶搖算力規模高達600PFLOPS,預計也用到了上千塊GPU。

盡管部署大量GPU是擴展算力的最直接途徑,但與此同時傳統的互聯方案還是創造了巨大的I/O瓶頸,嚴重影響了GPU的性能利用率,導致更多的時間花在了等待數據而不是處理數據上。

為此,常用的方案變成了添加更多的GPU來彌補性能和計算效率上的損失,可這樣的趨勢已經在逐漸被淘汰,因為從減少碳足跡的角度來看,全球范圍內各個國家都在開始考慮減少數據中心的能源損耗了。

光子IC

除此之外,另一解決方案就是利用光模塊來解決速度慢的節點間電氣連接,然而光模塊成本較高、密度較低,所以需要更高速、端到端又能降低成本互聯方案,即芯片到芯片之間的光學I/O。

利用更高帶寬的光學連接取代諸多并行和高速串行I/O通道,這一愿景促使了行業對近封裝光學和共封裝光學的追求。相較外部可插拔的管模塊,光子IC可將光學I/O集成到GPU封裝內部,用來與其他的GPU節點進行直接通信,進一步提高了AI算力的擴展效率,滿足了當下持續增長的AI需求。

近期,Sivers Semiconductors就在歐洲光通信展覽會上展出了他們打造的八波長分布式反饋(DFB)激光器陣列,該陣列集成在了Ayar Labs的SuperNova多波長光源中,支持GPU之間最高4TB/s的數據傳輸。根據Ayar Labs提供的數據,新的光源配合它們的TeraPHY封裝內光學I/O Chiplet,還提供了低上10倍的延遲和8倍的傳輸能效。

這樣的表現無疑極大地提升GPU的性能利用效率,解決當下生成式AI在I/O性能瓶頸上的燃眉之急。盡管光子計算芯片目前尚不能替代傳統的電子半導體器件,但從解決帶寬和延遲需求上已經有了長足的進步。

寫在最后

面對生成式AI模型大小的指數級上漲,以及逐漸龐大起來的推理數據量,傳統的I/O性能必然會面臨淘汰,而光子IC為高性能的AI芯片提供了一條更快更高效的通路。不過仍然需要注意的是,光子IC與傳統IC還有設計與制造上的區別,比如需要特定的設計工具以及工藝等。因此要想發展光子IC跟上這一波趨勢,就必須從EDA和晶圓代工廠開始抓起。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • IC
    IC
    +關注

    關注

    36

    文章

    5978

    瀏覽量

    176050
收藏 人收藏

    評論

    相關推薦

    生成AI工具好用嗎

    當下,生成AI工具正以其強大的內容生成能力,為用戶帶來了前所未有的便捷與創新。那么,生成
    的頭像 發表于 01-17 09:54 ?72次閱讀

    國內生成AI備案數量突破300款

    服務數量高達238款,占據了總備案數量的絕大部分,充分展示了該領域技術創新和市場需求的強勁動力。這一快速增長不僅反映了國內企業在生成AI技術上的不斷突破,也體現了市場對該類服務的廣泛
    的頭像 發表于 01-09 11:14 ?324次閱讀

    Google兩款先進生成AI模型登陸Vertex AI平臺

    新的 AI 模型,包括最先進的視頻生成模型Veo以及最高品質的圖像生成模型Imagen 3。近日,我們在 Google Cloud 上進一步推動這一勢頭,客戶可以在Vertex
    的頭像 發表于 12-30 09:56 ?122次閱讀

    生成AI工具作用

    生成AI工具是指那些能夠自動生成文本、圖像、音頻、視頻等多種類型數據的人工智能技術。在此,petacloud.ai小編為您整理
    的頭像 發表于 10-28 11:19 ?291次閱讀

    谷歌Vertex AI助力企業生成AI應用

    過去的一段時間,我們看到了許多 Google Cloud 客戶對生成 AI 和 agent 的精彩應用,令我們拍案叫絕。為了讓企業能夠更快推出功能強大的 AI agent,Googl
    的頭像 發表于 09-09 15:59 ?560次閱讀

    使用OpenVINO GenAI API的輕量級生成AI

    機器人的進步很快、變化不斷,很難預測接下來會有什么突破,開發者應該關注什么。我們知道生成AI將繼續存在,開發人員希望看到在本地開發、維護和部署 A
    的頭像 發表于 07-24 15:08 ?691次閱讀

    生成AI的基本原理和應用領域

    生成人工智能(Generative Artificial Intelligence,簡稱Generative AI)是一種利用機器學習算法和深度學習技術,通過模擬人類的創造性思維過程,生成
    的頭像 發表于 07-04 11:50 ?1683次閱讀

    原來這才是【生成AI】!!

    隨著ChatGPT、文心一言等AI產品的火爆,生成AI已經成為了大家茶余飯后熱議的話題。可是,為什么要在AI前面加上“
    的頭像 發表于 06-05 08:04 ?290次閱讀
    原來這才是【<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>】!!

    請問移動端生成AI如何在Arm CPU上運行呢?

    2023 年,生成人工智能 (Generative AI) 領域涌現出諸多用例。這一突破性的人工智能 (AI) 技術是 OpenAI 的
    的頭像 發表于 05-21 17:07 ?928次閱讀
    請問移動端<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>如何在Arm CPU上運行呢?

    生成AI的「七宗罪」!

    面對生成AI日漸增長的「罪惡」,我們該如何解決問題?
    的頭像 發表于 05-07 16:34 ?1799次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的「七宗罪」!

    軟件可配置模擬 I/O 的設計理念

    將這種荒謬變成了現實。如今,單一模擬集成電路 (IC) 就能實現多種角色。例如,[Analog Devices]的 [MAX22000] 工業 I/O 設備提供六個模擬輸入和一個模擬輸出,所有輸入
    的頭像 發表于 05-05 11:10 ?944次閱讀
    軟件可配置模擬 <b class='flag-5'>I</b>/<b class='flag-5'>O</b> 的設計理念

    生成 AI 進入模型驅動時代

    人意識到,需要針對特定的應用對模型進行更廣泛的訓練。因此,只要說到“生成AI”這個詞,我們很自然地就會聯想到要使用經過訓練的模型。但是,生成
    的頭像 發表于 04-13 08:12 ?567次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 進入模型驅動時代

    生成 AI 制作動畫:周期短、成本低!

    工作室和特效公司正廣泛采用生成AI技術進行背景生成、角色創作和動作合成。這種技術的應用不僅提高了動畫制作的效率,還使得動畫作品在視覺效果和創意上有了更大的
    的頭像 發表于 03-18 08:19 ?3731次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 制作動畫:周期短、成本低!

    博世與微軟合作開發生成AI產品

    全球知名科技公司博世與微軟聯合宣布,雙方已建立合作關系,共同致力于開發先進的生成AI產品。這一合作的核心目標在于通過利用生成
    的頭像 發表于 03-05 11:17 ?952次閱讀

    FANUC外部I/O點數不夠用了怎么辦?可以擴展I/O點數嗎?

    FANUC外部I/O點數不夠用了怎么辦?可以擴展I/O點數嗎? 擴展FANUC的外部I/
    的頭像 發表于 02-18 15:21 ?2070次閱讀
    主站蜘蛛池模板: adc影院欢迎您大驾光临入口 | 亚洲一区国产 | 久久精品人人做人人爽97 | 好满射太多了装不下了视频 | 全是肉的高h短篇列车 | 亚洲视频在线观看地址 | 亚洲免费精品视频 | 国产在线观看香蕉视频 | 越南女子杂交内射BBWXZ | 羞羞影院男女爽爽影院尤物 | 印度人XXx | 国产午夜精品久久理论片小说 | 亚洲人成在线播放无码 | 俄罗斯9一14 young处 | 亚洲精品国产高清不卡在线 | 久久AV国产麻豆HD真实乱 | 亚州视频一区 | 99精品久久精品一区二区 | 中文字幕在线视频网站 | 亚洲人成7777 | 动漫美女和男人下载 | 91香蕉福利一区二区三区 | 国产精品99久久久久久AV | 亚洲视频在线观看不卡 | 日本久久道一区二区三区 | 久久精品无码人妻无码AV蜜臀 | 男人日女人的b | 色哟哟tv | 日日天干夜夜狠狠爱 | 好吊妞国产欧美日韩视频 | 美女被黑人巨大进入 | 97免费视频在线观看 | 久青草国产在线观看视频 | 国内精品乱码卡一卡2卡三卡 | 精品第一国产综合精品蜜芽 | 欧美另类老女人 | 白丝女仆被强扒内裤 | 成人免费一级毛片在线播放视频 | 久久黄色小视频 | 欧美日韩国产码在线 | 国产精品久久久久影院色老大 |