色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

干貨速來!詳析卷積神經(jīng)網(wǎng)絡(CNN)的特性和應用

analog_devices ? 來源:未知 ? 2023-03-27 22:50 ? 次閱讀

前文《卷積神經(jīng)網(wǎng)絡簡介:什么是機器學習》中,我們比較了在微控制器中運行經(jīng)典線性規(guī)劃程序與運行CNN的區(qū)別,并展示了CNN的優(yōu)勢。我們還探討了CIFAR網(wǎng)絡,該網(wǎng)絡可以對圖像中的貓、房子或自行車等對象進行分類,還可以執(zhí)行簡單的語音識別。本文重點解釋如何訓練這些神經(jīng)網(wǎng)絡以解決實際問題。

01 神經(jīng)網(wǎng)絡的訓練過程

前文中討論的CIFAR網(wǎng)絡由不同層的神經(jīng)元組成。如圖1所示,32 × 32像素的圖像數(shù)據(jù)被呈現(xiàn)給網(wǎng)絡并通過網(wǎng)絡層傳遞。CNN處理過程的第一步就是提取待區(qū)分對象的特性和結構,這需要借助濾波器矩陣實現(xiàn)。設計人員對CIFAR網(wǎng)絡進行建模后,由于最初無法確定這些濾波器矩陣,因此這個階段的網(wǎng)絡無法檢測模式和對象。

為此,首先需要確定濾波器矩陣的所有參數(shù),以最大限度地提高檢測對象的精度或最大限度地減少損失函數(shù)。這個過程就稱為神經(jīng)網(wǎng)絡訓練。前文所描述的常見應用在開發(fā)和測試期間只需對網(wǎng)絡進行一次訓練就可以使用,無需再調整參數(shù)。如果系統(tǒng)對熟悉的對象進行分類,則無需額外訓練;當系統(tǒng)需要對全新的對象進行分類時,才需要額外進行訓練。

進行網(wǎng)絡訓練需要使用訓練數(shù)據(jù)集,并使用類似的一組測試數(shù)據(jù)集來測試網(wǎng)絡的精度。例如CIFAR-10網(wǎng)絡數(shù)據(jù)集為十個對象類的圖像集合:飛機、汽車、鳥、貓、鹿、狗、青蛙、馬、輪船和卡車。我們必須在訓練CNN之前對這些圖像進行命名,這也是人工智能應用開發(fā)過程中最為復雜的部分。本文討論的訓練過程采用反向傳播的原理,即向網(wǎng)絡連續(xù)展示大量圖像,并且每次都同時傳送一個目標值。本例的目標值為圖像中相關的對象類。在每次顯示圖像時,濾波器矩陣都會被優(yōu)化,這樣對象類的目標值就會和實際值相匹配。完成此過程的網(wǎng)絡就能夠檢測出訓練期間從未看到過的圖像中的對象。

954a4b9c-ccae-11ed-bfe3-dac502259ad0.svg

圖1.CIFAR CNN架構。

95612b6e-ccae-11ed-bfe3-dac502259ad0.svg

圖2.由前向傳播和反向傳播組成的訓練循環(huán)。

02 過擬合和欠擬合

在神經(jīng)網(wǎng)絡的建模過程中經(jīng)常會出現(xiàn)的問題是:神經(jīng)網(wǎng)絡應該有多少層,或者是神經(jīng)網(wǎng)絡的濾波器矩陣應該有多大。回答這個問題并非易事,因此討論網(wǎng)絡的過擬合和欠擬合至關重要。過擬合由模型過于復雜以及參數(shù)過多而導致。我們可以通過比較訓練數(shù)據(jù)集和測試數(shù)據(jù)集的損失來確定預測模型與訓練數(shù)據(jù)集的擬合程度。如果訓練期間損失較低并且在向網(wǎng)絡呈現(xiàn)從未顯示過的測試數(shù)據(jù)時損失過度增加,這就強烈表明網(wǎng)絡已經(jīng)記住了訓練數(shù)據(jù)而不是在實施模式識別。此類情況主要發(fā)生在網(wǎng)絡的參數(shù)存儲空間過大或者網(wǎng)絡的卷積層過多的時候。這種情況下應當縮小網(wǎng)絡規(guī)模。

03 損失函數(shù)和訓練算法

學習分兩個步驟進行。第一步,向網(wǎng)絡展示圖像,然后由神經(jīng)元網(wǎng)絡處理這些圖像生成一個輸出矢量。輸出矢量的最大值表示檢測到的對象類,例如示例中的"狗",該值不一定是正確的。這一步稱為前向傳播。

目標值與輸出時產生的實際值之間的差值稱為損失,相關函數(shù)則稱為損失函數(shù)。網(wǎng)絡的所有要素和參數(shù)均包含在損失函數(shù)中。神經(jīng)網(wǎng)絡的學習過程旨在以最小化損失函數(shù)的方式定義這些參數(shù)。這種最小化可通過反向傳播的過程實現(xiàn)。在反向傳播的過程中,輸出產生的偏置(損失 = 目標值-實際值)通過網(wǎng)絡的各層反饋,直至達到網(wǎng)絡的起始層。

因此,前向傳播和反向傳播在訓練過程中產生了一個可以逐步確定濾波器矩陣參數(shù)的循環(huán)。這種循環(huán)過程會不斷重復,直至損失值降至一定程度以下。

04 優(yōu)化算法、梯度和梯度下降法

為說明訓練過程,圖3顯示了一個包含x和y兩個參數(shù)的損失函數(shù)的示例,這里z軸對應于損失。如果我們仔細查看該損失函數(shù)的三維函數(shù)圖,我們就會發(fā)現(xiàn)這個函數(shù)有一個全局最小值和一個局部最小值。

目前,有大量數(shù)值優(yōu)化算法可用于確定權重和偏置。其中,梯度下降法最為簡單。梯度下降法的理念是使用梯度算子在逐步訓練的過程中找到一條通向全局最小值的路徑,該路徑的起點從損失函數(shù)中隨機選擇。梯度算子是一個數(shù)學運算符,它會在損失函數(shù)的每個點生成一個梯度矢量。該矢量的方向指向函數(shù)值變化最大的方向,幅度對應于函數(shù)值的變化程度。在圖3的函數(shù)中,右下角(紅色箭頭處)由于表面平坦,因此梯度矢量的幅度較小。而接近峰值時的情況則完全不同。此處矢量(綠色箭頭)的方向急劇向下,并且由于此處高低差明顯,梯度矢量的幅度也較大。

957cdd8c-ccae-11ed-bfe3-dac502259ad0.svg

圖3.使用梯度下降法確定到最小值的不同路徑。

因此我們可以利用梯度下降法從任意選定的起點開始以迭代的方式尋找下降至山谷的最陡峭路徑。這意味著優(yōu)化算法會在起點計算梯度,并沿最陡峭的下降方向前進一小步。之后算法會重新計算該點的梯度,繼續(xù)尋找創(chuàng)建一條從起點到山谷的路徑。這種方法的問題在于起點并非是提前定義的,而是隨機選擇的。在我們的三維地圖中,某些細心的讀者會將起點置于函數(shù)圖左側的某個位置,以確保路徑的終點為全局最小值(如藍色路徑所示)。其他兩個路徑(黃色和橙色)要么非常長,要么終點位于局部最小值。但是,算法必須對成千上萬個參數(shù)進行優(yōu)化,顯然起點的選擇不可能每次都碰巧正確。在具體實踐中,這種方法用處不大。因為所選擇的起點可能會導致路徑(即訓練時間)較長,或者目標點并不位于全局最小值,導致網(wǎng)絡的精度下降。

因此,為避免上述問題,過去幾年已開發(fā)出大量可作為替代的優(yōu)化算法。一些替代的方法包括隨機梯度下降法、動量法、AdaGrad方法、RMSProp方法、Adam方法等。鑒于每種算法都有其特定的優(yōu)缺點,實踐中具體使用的算法將由網(wǎng)絡開發(fā)人員決定。

05 訓練數(shù)據(jù)

在訓練過程中,我們會向網(wǎng)絡提供標有正確對象類的圖像,如汽車、輪船等。本例使用了已有的 CIFAR-10 dataset。當然,在具體實踐中,人工智能可能會用于識別貓、狗和汽車之外的領域。這可能需要開發(fā)新應用,例如檢測制造過程中螺釘?shù)馁|量必須使用能夠區(qū)分好壞螺釘?shù)挠柧殧?shù)據(jù)對網(wǎng)絡進行訓練。創(chuàng)建此類數(shù)據(jù)集極其耗時費力,往往是開發(fā)人工智能應用過程中成本最高的一步。編譯完成的數(shù)據(jù)集分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。訓練數(shù)據(jù)集用于訓練,而測試數(shù)據(jù)則用于在開發(fā)過程的最后檢查訓練好的網(wǎng)絡的功能。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 亞德諾
    +關注

    關注

    6

    文章

    4680

    瀏覽量

    16010

原文標題:干貨速來!詳析卷積神經(jīng)網(wǎng)絡(CNN)的特性和應用

文章出處:【微信號:analog_devices,微信公眾號:analog_devices】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    卷積神經(jīng)網(wǎng)絡有何用途 卷積神經(jīng)網(wǎng)絡通常運用在哪里

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理、生物信息學等領域。本文將介紹卷積
    的頭像 發(fā)表于 07-11 14:43 ?2680次閱讀

    卷積神經(jīng)網(wǎng)絡的基本概念、原理及特點

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習算法,它在圖像識別、視頻分析、自然語言處理等領域有著廣泛的應用。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-11 14:38 ?1224次閱讀

    BP神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡的關系

    BP神經(jīng)網(wǎng)絡(Backpropagation Neural Network)和卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,簡稱CNN)是兩種在人工智能和機器
    的頭像 發(fā)表于 07-10 15:24 ?1698次閱讀

    循環(huán)神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡的區(qū)別

    循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)和卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)是深度學習領域中兩種非常重要的
    的頭像 發(fā)表于 07-04 14:24 ?1462次閱讀

    卷積神經(jīng)網(wǎng)絡的實現(xiàn)原理

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-03 10:49 ?612次閱讀

    bp神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡區(qū)別是什么

    BP神經(jīng)網(wǎng)絡(Backpropagation Neural Network)和卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,簡稱CNN)是兩種不同類型的人工
    的頭像 發(fā)表于 07-03 10:12 ?1323次閱讀

    卷積神經(jīng)網(wǎng)絡分類方法有哪些

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)是一種深度學習模型,廣泛應用于圖像分類、目標檢測、語義分割等計算機視覺任務。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-03 09:40 ?528次閱讀

    卷積神經(jīng)網(wǎng)絡的基本結構和工作原理

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-03 09:38 ?840次閱讀

    cnn卷積神經(jīng)網(wǎng)絡分類有哪些

    卷積神經(jīng)網(wǎng)絡CNN)是一種深度學習模型,廣泛應用于圖像分類、目標檢測、語義分割等領域。本文將詳細介紹CNN在分類任務中的應用,包括基本結構、關鍵技術、常見
    的頭像 發(fā)表于 07-03 09:28 ?705次閱讀

    cnn卷積神經(jīng)網(wǎng)絡三大特點是什么

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。CNN具有以下三大特點: 局
    的頭像 發(fā)表于 07-03 09:26 ?1476次閱讀

    卷積神經(jīng)網(wǎng)絡訓練的是什么

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-03 09:15 ?483次閱讀

    卷積神經(jīng)網(wǎng)絡的原理與實現(xiàn)

    1.卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。 卷積
    的頭像 發(fā)表于 07-02 16:47 ?684次閱讀

    卷積神經(jīng)網(wǎng)絡cnn模型有哪些

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。 CNN的基本概念 1.1
    的頭像 發(fā)表于 07-02 15:24 ?773次閱讀

    卷積神經(jīng)網(wǎng)絡的原理是什么

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、語音識別、自然語言處理等領域。本文將詳細介紹卷積
    的頭像 發(fā)表于 07-02 14:44 ?773次閱讀

    卷積神經(jīng)網(wǎng)絡和bp神經(jīng)網(wǎng)絡的區(qū)別

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,簡稱CNN)和BP神經(jīng)網(wǎng)絡(Backpropagation Neural Networks,簡稱BPNN)是兩
    的頭像 發(fā)表于 07-02 14:24 ?4634次閱讀
    主站蜘蛛池模板: 男gv纯肉免费视频 | 日本无码人妻精品一区二区视频 | 国产91专区 | 亚洲国产三级在线观看 | 国产精品AV视频一二三区 | 国产精品-区区久久久狼 | 欧美人与动牲交ZOOZ特 | 无码天堂亚洲国产AV久久 | 国产XXXXXX农村野外 | 无码欧美喷潮福利XXXX | 亚洲精品成人a在线观看 | 国产欧美另类久久久精品免费 | 亚洲综合网国产精品一区 | 国产综合视频在线观看一区 | 午夜伦理网| 99久久精品久久久久久清纯 | 欧美人成人亚洲专区中文字幕 | 国产亚洲精品V在线观看一 国产亚洲精品a在线观看app | 麻1豆传媒2021精品 | 产传媒61国产免费 | 伊人大香线蕉影院在线播放 | 久久两性视频 | 文中字幕一区二区三区视频播放 | 国产成人综合视频 | 亚洲永久精品AV在线观看 | 午夜免费国产体验区免费的 | 国产成人a视频在线观看 | 伊人伊人影院 | 女生下面免费看 | 中文字幕亚洲乱码熟女在线萌芽 | 色鲁97精品国产亚洲AV高 | 亚洲精品不卡在线 | 国产香蕉视频在线观看 | 亚洲国产第一 | 99re精品视频在线播放视频 | 精品少妇爆AV无码专区 | 日本大片免a费观看视频 | 91精品国产91热久久p | 深爱激情站| 99视频在线看观免费 | 野花香在线观看免费观看大全动漫 |