色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

邊緣計算中深度神經網絡剪枝壓縮的研究

倩倩 ? 來源:我是天邊飄過一朵云 ? 2020-03-27 15:50 ? 次閱讀

邊緣計算將計算、網絡、存儲等能力擴展到物聯網設備附近的網絡邊緣側,而以深度學習為代表的人工智能技術讓每個邊緣計算的節點都具有計算和決策的能力,這使得某些復雜的智能應用可以在本地邊緣端進行處理,滿足了敏捷連接、實時業務、數據優化、應用智能、安全與隱私保護等方面的需求。智能邊緣計算利用物聯網的邊緣設備進行數據采集和智能分析計算,實現智能在云和邊緣之間流動,對人工智能算法、終端、芯片都提出了新的需求,正成為越來越多人工智能企業關注的重點方向。然而,由于深度學習模型推理需要消耗大量的計算資源,當前的大多數邊緣設備由于資源受限無法以低延遲、低功耗、高精確率的方式支持深度學習應用。

深度神經網絡與其他很多機器學習模型一樣,可分為訓練和推理兩個階段。訓練階段根據數據學習模型中的參數(對神經網絡來說主要是網絡中的權重);推理階段將新數據輸入模型,經過計算得出結果。過參數化是指在訓練階段,網絡需要大量的參數來捕捉數據中的微小信息,而一旦訓練完成到了推理階段,就不需要這么多的參數?;谶@樣的假設,就可以在部署前對模型進行簡化。模型壓縮中的剪枝(pruning)和量化兩類方法正是基于這樣的前提。模型簡化的優點包括但不限于:(1)計算量的減小,從而使計算時間更少,功耗更?。唬?)存儲和讀寫訪問量變小,可以放到更邊緣的設備上運行,本來需要既慢又耗能的DRAM參與,現在有可能放在SRAM就可以。其核心問題是如何有效地裁剪模型并使得精度的損失最小化。

對于神經網絡修剪的研究始于20世紀80年代末、90年代初。漢森(Hanson)在1988年提出基于幅度的修剪方法,即對網絡中每個隱含單元施加與其絕對值相關的權重衰減來使隱含單元數量最小化。樂昆(LeCun)和哈斯比(Hassibi)分別在1990年和1993年提出最優腦損傷(Optimal Brain Damage,OBD)和最優腦手術(Optimal Brain Surgeon,OBS)方法,它們基于損失函數相對于權重的二階導數(對權重向量來說即Hessian矩陣)來衡量網絡中權重的重要程度,然后對其進行裁剪。由于受到當時計算資源的限制,研究僅限于淺層神經網絡,但其對問題的定義和解決問題的思路對之后的工作產生了深遠的影響。從2012年起,神經網絡的變化趨勢是不斷加深網絡以提高精度。在2015-2016年期間,Han等人發表了一系列對深度神經網絡進行模型壓縮的工作,其中Deep Compression對當時經典網絡AlexNet和VGG進行了壓縮。結合修剪、量化和哈夫曼編碼等多種方法,將網絡尺寸壓縮至幾十分之一,性能獲得成倍的提升。其中對于修剪帶來的精度損失,使用了迭代修剪方法進行補償,使精度幾乎沒有損失。之后這幾年,模型壓縮領域變得越來越豐富,越來越多的相關工作衍生而出。

從網絡修剪的粒度來說,可以分為結構化剪枝(structured pruning)和非結構化剪枝(unstructured pruning)兩類。早期的一些方法是基于非結構化的,它修剪的粒度為單個神經元。如果對卷積核進行非結構化剪枝,則得到的卷積核是稀疏的,即中間有很多元素為0的矩陣。除非下層的硬件和計算庫對其有比較好的支持,否則修剪后的網絡很難獲得實質的性能提升。稀疏矩陣無法利用現有成熟的基礎線性代數子程序(Basic Linear Algebra Subprograms,BLAS)庫來獲得額外性能收益。因此,很多研究是集中在結構化剪枝上,通常細分為通道剪枝、卷積核剪枝和網絡結構修剪。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4789

    瀏覽量

    101836
  • 深度學習
    +關注

    關注

    73

    文章

    5531

    瀏覽量

    122079
  • 邊緣計算
    +關注

    關注

    22

    文章

    3196

    瀏覽量

    50093
收藏 0人收藏

    評論

    相關推薦

    神經網絡在FPGA上的應用:深度壓縮方法

    對AlexNet和VGG-16進行了實驗,獲得了35倍和49倍的壓縮量,而且精度幾乎沒有損失。 1. 原理 深度壓縮之所以獲得成功主要是結合了三種壓縮方法:
    的頭像 發表于 11-21 11:00 ?3355次閱讀
    <b class='flag-5'>神經網絡</b>在FPGA上的應用:<b class='flag-5'>深度</b><b class='flag-5'>壓縮</b>方法

    從AlexNet到MobileNet,帶你入門深度神經網絡

    思維導圖如下:發展歷程DNN-定義和概念在卷積神經網絡,卷積操作和池化操作有機的堆疊在一起,一起組成了CNN的主干。同樣是受到獼猴視網膜與視覺皮層之間多層網絡的啟發,深度
    發表于 05-08 15:57

    如何設計BP神經網絡圖像壓縮算法?

    ,并能在腦海中重現這些圖像信息,這不僅與人腦的海量信息存儲能力有關,還與人腦的信息處理能力,包括數據壓縮能力有關。在各種神經網絡,多層前饋神經網絡具有很強的信息處理能力,由于其采用B
    發表于 08-08 06:11

    深度神經網絡是什么

    多層感知機 深度神經網絡in collaboration with Hsu Chung Chuan, Lin Min Htoo, and Quah Jia Yong. 與許忠傳,林敏濤和華佳勇合作
    發表于 07-12 06:35

    基于深度神經網絡的激光雷達物體識別系統

    的激光雷達物體識別技術一直難以在嵌入式平臺上實時運行。經緯恒潤經過潛心研發,攻克了深度神經網絡在嵌入式平臺部署所面臨的算子定制與加速、量化策略、模型壓縮等難題,率先實現了高性能激光檢測神經網絡
    發表于 12-21 07:59

    卷積神經網絡模型發展及應用

    network,DBN)[24], 從此拉開了深度學習大幕。隨著深度學習理論的研究和發展,研究人員提 出了一系列卷積神經網絡模型。為了比較
    發表于 08-02 10:39

    深度神經網絡壓縮和正則化剖析

    利用深度壓縮和DSD訓練來提高預測精度。 深度神經網絡已經成為解決計算機視覺、語音識別和自然語言處理等機器學習任務的最先進的技術。盡管如此,
    發表于 11-16 13:11 ?1891次閱讀
    <b class='flag-5'>深度</b><b class='flag-5'>神經網絡</b>的<b class='flag-5'>壓縮</b>和正則化剖析

    面向“邊緣”應用的卷積神經網絡如何進行量化與壓縮詳細方法

    針對卷積神經網絡( CNN)推理計算所需內存空間和資源過大,限制了其在嵌入式等“邊緣”設備上部署的問題,提出結合網絡權重裁剪及面向嵌入式硬件平臺數據類型的數據量化的
    發表于 12-26 17:01 ?4次下載
    面向“<b class='flag-5'>邊緣</b>”應用的卷積<b class='flag-5'>神經網絡</b>如何進行量化與<b class='flag-5'>壓縮</b>詳細方法

    基于深度神經網絡的結構化剪枝算法

      現有結構化剪枝算法通常運用深度神經網絡(DNN)的一階或者零階信息對通道進行剪枝,為利用二階信息加快DNN網絡模型收斂速度,借鑒HAWQ
    發表于 03-10 16:41 ?2次下載
    基于<b class='flag-5'>深度</b><b class='flag-5'>神經網絡</b>的結構化<b class='flag-5'>剪枝</b>算法

    神經網絡圖像壓縮算法的FPGA實現技術研究論文免費下載

    神經網絡圖像壓縮是圖像壓縮神經網絡領域的主要研究方向之一,基于多層前饋神經網絡
    發表于 03-22 16:06 ?11次下載
    <b class='flag-5'>神經網絡</b>圖像<b class='flag-5'>壓縮</b>算法的FPGA實現技術<b class='flag-5'>研究</b>論文免費下載

    深度神經網絡模型的壓縮和優化綜述

    近年來,隨著深度學習的飛速發展,深度神經網絡受到了越來越多的關注,在許多應用領域取得了顯著效果。通常,在較高的計算量下,深度
    發表于 04-12 10:26 ?20次下載
    <b class='flag-5'>深度</b><b class='flag-5'>神經網絡</b>模型的<b class='flag-5'>壓縮</b>和優化綜述

    基于剪枝與量化的卷積神經網絡壓縮算法

    隨著深度學習的發展,卷積神經網絡作為其重要算法被廣泛應用到計算機視覺、自然語言處理及語音處理等各個領域,并取得了比傳統算法更為優秀的成績。但是,卷積神經網絡結構復雜,參數量和
    發表于 05-17 15:44 ?6次下載

    卷積神經網絡深度神經網絡的優缺點 卷積神經網絡深度神經網絡的區別

    深度神經網絡是一種基于神經網絡的機器學習算法,其主要特點是由多層神經元構成,可以根據數據自動調整神經元之間的權重,從而實現對大規模數據進行預
    發表于 08-21 17:07 ?4427次閱讀

    卷積神經網絡壓縮方法

    ,CNN模型的參數量和計算量也隨之劇增,這對硬件資源提出了嚴峻挑戰。因此,卷積神經網絡壓縮方法成為了研究熱點。本文將從多個角度詳細介紹卷積神經網絡
    的頭像 發表于 07-11 11:46 ?536次閱讀

    FPGA在深度神經網絡的應用

    、低功耗等特點,逐漸成為深度神經網絡邊緣計算和設備端推理的重要硬件平臺。本文將詳細探討FPGA在深度
    的頭像 發表于 07-24 10:42 ?953次閱讀
    主站蜘蛛池模板: 好姑娘社区在线视频 | 视频一区在线免费观看 | 在线天天看片视频免费观看 | 国产一区二区在线免费观看 | 久久久久综合 | 国产免费午夜高清 | 嫩草成人影院 | 男人J放进女人屁股免费观看 | 黑人玩弄极品人妻系列 | 嫩草影院久久国产精品 | 国产成人理在线观看视频 | 老师的蕾丝小内内湿透了 | 欧美.亚洲.日韩.天堂 | 亚洲精品国产高清嫩草影院 | 一个人在线观看免费视频 | 免费视频国产在线观看网站 | 国产欧美一区二区精品久久久 | 欧美精品成人久久网站 | 国产精品禁18久久久夂久 | 中文字幕网站在线观看 | 二级毛片免费观看全程 | 一本道久久综合久久88 | 帅哥操帅哥 | 毛片在线网址 | 撕烂衣服扒开胸罩揉爆胸 | 成人性生交大片免费看金瓶七仙女 | 国内精品免费久久影院 | 免费观看高清黄页网址大全 | 护士被老头边摸边吃奶的视频 | 伊人不卡久久大香线蕉综合影院 | 色橹橹欧美在线观看视频高清 | 国产午夜精品理论片免费观看 | 久久久久久亚洲精品影院 | 男插女高潮一区二区 | 亚洲中文字幕在线第六区 | 好男人在线观看免费视频WWW | 国产成人亚洲综合无 | 欧美最猛12teevideos | 99国产精品久久人妻 | 日韩亚洲国产中文字幕欧美 | 国产精品1卡二卡三卡四卡乱码 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品