色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI加速向終端側(cè)演進(jìn),NPU、異構(gòu)計(jì)算提供強(qiáng)大算力支持

Carol Li ? 來(lái)源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)生成式AI是一種通過(guò)學(xué)習(xí)大規(guī)模數(shù)據(jù)集生成新的原創(chuàng)內(nèi)容的新型AI。Bloomberg Intelligence最新報(bào)告預(yù)測(cè),未來(lái)10年內(nèi),生成式AI市場(chǎng)規(guī)模將從2022年的400億美元,增長(zhǎng)至2032年的1.3萬(wàn)億美元,年復(fù)合增速達(dá)到42%。

生成式AI向終端快速演進(jìn)

當(dāng)前大部分生成式AI的開(kāi)發(fā)工作都集中在云端,然而生成式AI正朝著直接在終端上運(yùn)行的方向快速演進(jìn)。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側(cè)的用戶體驗(yàn),具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來(lái)全新的人車交互方式,支持用戶與汽車直接進(jìn)行對(duì)話。他認(rèn)為,生成式AI將為各行各業(yè)帶來(lái)全新機(jī)遇。

近段時(shí)間,生成式AI在手機(jī)、PC等終端設(shè)備上已經(jīng)有不少用例。最近推出的新手機(jī),就有不少生成式AI的應(yīng)用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現(xiàn)的照片,就可以通過(guò)該功能成功拯救。三星Galaxy S24系列的通話實(shí)時(shí)語(yǔ)音翻譯和同傳功能,支持了13種語(yǔ)言之間的無(wú)縫翻譯,出國(guó)旅行也可輕松交流。

在前不久的MWC展會(huì)期間,高通也在現(xiàn)場(chǎng)展示了大量生成式AI的應(yīng)用案例。相比此前發(fā)布的一些手機(jī)的AI功能,高通在MWC現(xiàn)場(chǎng)所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長(zhǎng)串的文字標(biāo)簽,只要給出一個(gè)比較準(zhǔn)確的描述,Stable Diffusion即可快速生成圖片,與描述相差無(wú)幾。比如輸入“一只可愛(ài)的卷毛貓”,小龍手機(jī)僅耗時(shí)不到7秒,就生成了一張卷毛貓?jiān)谑覂?nèi)的照片,效果十分真實(shí)。

另外,圖片生成還能根據(jù)個(gè)人或藝術(shù)偏好,加入自定義元素來(lái)展現(xiàn)風(fēng)格效果。比如在加入“水晶”關(guān)鍵詞,并設(shè)定好風(fēng)格權(quán)重后,模型就會(huì)添加水晶元素,最終生成的圖片就很有賽博風(fēng)格了。這種使用方式很具想象力,它可以用來(lái)制作表情包,甚至在創(chuàng)作平面、視頻內(nèi)容缺素材時(shí),也能運(yùn)用AI快速生成符合要求的素材。

異構(gòu)計(jì)算對(duì)端側(cè)生成式AI的重要性

而這些生成式AI功能在終端設(shè)備上的應(yīng)用離不開(kāi)芯片的支持。高通認(rèn)為,對(duì)于端側(cè)生成式AI來(lái)說(shuō),異構(gòu)計(jì)算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側(cè)算力,它需要NPU進(jìn)行推理,需要GPU進(jìn)行圖像渲染,也正是在異構(gòu)運(yùn)算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機(jī)終端的高電池續(xù)航。

近日,高通在其發(fā)布的《通過(guò)NPU和異構(gòu)計(jì)算開(kāi)啟終端側(cè)生成式AI》報(bào)告中,深入闡述了NPU與異構(gòu)計(jì)算,對(duì)端側(cè)生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計(jì)算需求的垂直領(lǐng)域不斷增加,需要專為AI定制設(shè)計(jì)的全新計(jì)算架構(gòu)。這首先需要一個(gè)面向生成式AI全新設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理器(NPU),同時(shí)要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過(guò)結(jié)合NPU使用合適的處理器,異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航,賦能全新增強(qiáng)的生成式AI體驗(yàn)。

NPU專為實(shí)現(xiàn)以低功耗加速AI推理而全新打造,其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進(jìn)。AI運(yùn)算上的主要負(fù)載是由標(biāo)量、向量和張量的數(shù)學(xué)運(yùn)算,雖說(shuō)CPU也能對(duì)此進(jìn)行處理,不過(guò)處理速度和功耗方面都不理想。NPU正是針對(duì)AI運(yùn)算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標(biāo)量和向量運(yùn)算核心,之后又加入了張量運(yùn)算核心,從而極大加快了AI處理速度,并使AI運(yùn)算處理的功耗大幅度降低。

寫(xiě)在最后

如今,生成式AI已經(jīng)在終端側(cè)展示出它的價(jià)值,隨著生成式AI在終端側(cè)運(yùn)行的加速,這一趨勢(shì)也將推動(dòng)終端的進(jìn)一步創(chuàng)新,有望為手機(jī)、PC等消費(fèi)電子市場(chǎng)帶來(lái)新一輪生機(jī)。同時(shí),生成式AI在終端側(cè)的運(yùn)行需要極大的算力,這也是目前業(yè)界需要解決的重大問(wèn)題。


聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31399

    瀏覽量

    269808
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    【新品體驗(yàn)】幸狐Omni3576邊緣計(jì)算套件免費(fèi)試用

    幸狐Core3576 核心板為邊緣計(jì)算提供強(qiáng)大,搭載八核64位CPU、ARM Mali-G52 MC3 GPU,并集成6 TOPS
    發(fā)表于 01-21 14:51

    異構(gòu)計(jì)算的概念、核心、優(yōu)勢(shì)、挑戰(zhàn)及考慮因素

    異構(gòu)計(jì)算就像是一支由“多才多藝”處理器組成的團(tuán)隊(duì),每個(gè)成員都有自己的強(qiáng)項(xiàng)和責(zé)任。 ? 什么是異構(gòu)計(jì)算????? “異構(gòu)計(jì)算”指的是在同一個(gè)計(jì)算平臺(tái)中,部署多種不同類型的處理單元(比如
    的頭像 發(fā)表于 01-13 11:43 ?292次閱讀

    【一文看懂】什么是異構(gòu)計(jì)算

    隨著人工智能、深度學(xué)習(xí)、大數(shù)據(jù)處理等技術(shù)的快速發(fā)展,計(jì)算需求的復(fù)雜性不斷提升。傳統(tǒng)的單一計(jì)算架構(gòu)已難以滿足高效處理復(fù)雜任務(wù)的要求,異構(gòu)計(jì)算因此應(yīng)運(yùn)而生,成為現(xiàn)代計(jì)算領(lǐng)域的一個(gè)重要方向。
    的頭像 發(fā)表于 12-04 01:06 ?1653次閱讀
    【一文看懂】什么是<b class='flag-5'>異構(gòu)計(jì)算</b>?

    芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    線程調(diào)度,與Hopper架構(gòu)的細(xì)粒度同步機(jī)制,使得異構(gòu)計(jì)算場(chǎng)景下的任務(wù)協(xié)同更加靈活。在我的分布訓(xùn)練實(shí)踐中,這些特性顯著提升了模型收斂速度。 張量處理器的設(shè)計(jì)是本書(shū)點(diǎn)睛之筆。從數(shù)學(xué)抽象來(lái)看,張量統(tǒng)一了
    發(fā)表于 11-24 17:12

    企業(yè)AI租賃是什么

    企業(yè)AI租賃是指企業(yè)通過(guò)互聯(lián)網(wǎng)專業(yè)的提供
    的頭像 發(fā)表于 11-14 09:30 ?965次閱讀

    芯片 高性能 CPU/GPU/NPU 微架構(gòu)分析》第1-4章閱讀心得——之巔:從基準(zhǔn)測(cè)試到CPU微架構(gòu)的深度探索

    向量擴(kuò)展)指令集采用了可變長(zhǎng)度向量的創(chuàng)新設(shè)計(jì),為不同應(yīng)用場(chǎng)景提供了靈活的SIMD支持。矩陣加速指令集的出現(xiàn),如Intel的AMX,直接針對(duì)深度學(xué)習(xí)等應(yīng)用中的矩陣運(yùn)算進(jìn)行優(yōu)化,體現(xiàn)了通用CPU
    發(fā)表于 10-19 01:21

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書(shū)概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺(tái)提供的書(shū)籍,厚厚的一本,很有分量,感謝作者的傾力付出成書(shū)。 本書(shū)主要講芯片CPU
    發(fā)表于 10-15 22:08

    芯原聯(lián)合主辦RISC-V和生成AI論壇

    隨著生成AI技術(shù)的快速演進(jìn),相關(guān)應(yīng)用已開(kāi)始各行業(yè)滲透,AI模型在云
    的頭像 發(fā)表于 09-29 09:48 ?283次閱讀

    百度百舸AI計(jì)算平臺(tái)4.0震撼發(fā)布

    在2024年百度云智大會(huì)的璀璨舞臺(tái)上,百度智能云重磅推出了百舸AI異構(gòu)計(jì)算平臺(tái)的全新力作——4.0版本。此次升級(jí),標(biāo)志著百度在AI基礎(chǔ)設(shè)施領(lǐng)域邁出了堅(jiān)實(shí)的一步,致力于為行業(yè)提供更為
    的頭像 發(fā)表于 09-26 14:46 ?500次閱讀

    名單公布!【書(shū)籍評(píng)測(cè)活動(dòng)NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    ,在全球范圍內(nèi),對(duì)于推動(dòng)科技進(jìn)步、經(jīng)濟(jì)發(fā)展及社會(huì)整體的運(yùn)作具有至關(guān)重要的作用。隨著信息技術(shù)的高速發(fā)展,高性能計(jì)算(HPC)和人工智能(AI)等技術(shù)在多個(gè)領(lǐng)域的應(yīng)用變得日益廣泛,芯片
    發(fā)表于 09-02 10:09

    安謀科技異構(gòu)組合,破局生成AI挑戰(zhàn)

    ,“此芯P1”不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國(guó))有限公司(以下簡(jiǎn)稱“安謀科技”)“周易”NPU等自研業(yè)務(wù)產(chǎn)品。憑借高能效的異構(gòu)
    的頭像 發(fā)表于 08-13 09:12 ?606次閱讀

    安謀科技異構(gòu)賦能AI計(jì)算,此芯科技首款AI PC芯片發(fā)布

    底座,“此芯P1”不僅異構(gòu)集成了Arm?v9 CPU核心與Arm Immortalis? GPU,還搭載了安謀科技(中國(guó))有限公司(以下簡(jiǎn)稱“安謀科技”)“周易”NPU等自研業(yè)務(wù)產(chǎn)品。憑借高能效的異構(gòu)
    發(fā)表于 07-31 14:36 ?1073次閱讀
    安謀科技<b class='flag-5'>異構(gòu)</b><b class='flag-5'>算</b><b class='flag-5'>力</b>賦能<b class='flag-5'>AI</b><b class='flag-5'>計(jì)算</b>,此芯科技首款<b class='flag-5'>AI</b> PC芯片發(fā)布

    異構(gòu)計(jì)算:解鎖潛能的新途徑

    在這個(gè)數(shù)據(jù)爆炸的時(shí)代,計(jì)算力是推動(dòng)社會(huì)與科技創(chuàng)新的核心。從日常智能設(shè)備的流暢運(yùn)行到超級(jí)計(jì)算機(jī)的尖端模擬,均依賴強(qiáng)大計(jì)算能力。但面對(duì)多樣化的復(fù)雜計(jì)算
    的頭像 發(fā)表于 07-18 08:28 ?8531次閱讀
    <b class='flag-5'>異構(gòu)計(jì)算</b>:解鎖<b class='flag-5'>算</b><b class='flag-5'>力</b>潛能的新途徑

    NPU是什么?為何它是開(kāi)啟終端側(cè)生成AI的關(guān)鍵?

    ),同時(shí)要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過(guò)結(jié)合NPU使用合適的處理器,異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航,賦能全新增強(qiáng)的生成
    的頭像 發(fā)表于 03-07 11:25 ?2126次閱讀
    <b class='flag-5'>NPU</b>是什么?為何它是開(kāi)啟<b class='flag-5'>終端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的關(guān)鍵?

    高通NPU異構(gòu)計(jì)算提升生成AI性能?

    異構(gòu)計(jì)算的重要性不可忽視。根據(jù)生成AI的獨(dú)特需求和計(jì)算負(fù)擔(dān),需要配備不同的處理器,如專注于AI
    的頭像 發(fā)表于 03-06 14:15 ?862次閱讀
    主站蜘蛛池模板: 和美女啪啪啪动态图| 欧美 国产 日产 韩国 在线| 国产人妻人伦精品A区| 国产日韩欧美三级| 黑人开嫩苞| 久久综合网久久综合| 免费果冻传媒在线完整观看| 欧美成人亚洲高清在线观看| 日本久久久| 性xxx免费| 尹人综合网| cctv官网| 国产精品亚洲国产三区| 亚洲 综合 欧美在线视频| 亚洲精品久久久久无码AV片软件| 夜色伊甸园| 99精品视频免费观看| 成人毛片免费播放| 99久久免热在线观看6| 大香网伊人久久综合观看| 国产精品乱码色情一区二区视频| 国色天香社区视频免费高清3| 久久青草免费线观最新| 漂亮的保姆6在线观看中文| 午夜深情在线观看免费| 在线广播收听| 成人精品视频网站| 韩国伦理三级| 男人叼女人| 午夜福利32集云播| 在线免费视频a| 成人天堂婷婷青青视频在线观看| 国产线精品视频在线观看| 麻豆一二三区果冻| 手机在线观看毛片| 中文字幕一区久久久久| 国产99九九久久无码熟妇| 国产盗摄TP摄像头偷窥| 久久精品99热超碰| 日韩亚洲欧美中文高清| 亚洲午夜久久影院|