色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

PyTorch已為我們實(shí)現(xiàn)了大多數(shù)常用的非線性激活函數(shù)

人工智能君 ? 來(lái)源:人工智能君 ? 作者:人工智能君 ? 2022-07-06 14:47 ? 次閱讀

PyTorch已為我們實(shí)現(xiàn)了大多數(shù)常用的非線性激活函數(shù),我們可以像使用任何其他的層那樣使用它們。讓我們快速看一個(gè)在PyTorch中使用ReLU激活函數(shù)的例子:

在上面這個(gè)例子中,輸入是包含兩個(gè)正值、兩個(gè)負(fù)值的張量,對(duì)其調(diào)用ReLU函數(shù),負(fù)值將取為0,正值則保持不變。

現(xiàn)在我們已經(jīng)了解了構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)的大部分細(xì)節(jié),我們來(lái)構(gòu)建一個(gè)可用于解決真實(shí)問(wèn)題的深度學(xué)習(xí)架構(gòu)。上一章中,我們使用了簡(jiǎn)單的方法,因而可以只關(guān)注深度學(xué)習(xí)算法如何工作。后面將不再使用這種方式構(gòu)建架構(gòu),而是使用PyTorch中正常該用的方式構(gòu)建。

1.PyTorch構(gòu)建深度學(xué)習(xí)算法的方式

PyTorch中所有網(wǎng)絡(luò)都實(shí)現(xiàn)為類,創(chuàng)建PyTorch類的子類要調(diào)用nn.Module,并實(shí)現(xiàn)__init__和forward方法。在init方法中初始化層,這一點(diǎn)已在前一節(jié)講過(guò)。在forward方法中,把輸入數(shù)據(jù)傳給init方法中初始化的層,并返回最終的輸出。非線性函數(shù)經(jīng)常被forward函數(shù)直接使用,init方法也會(huì)使用一些。下面的代碼片段展示了深度學(xué)習(xí)架構(gòu)是如何用PyTrorch實(shí)現(xiàn)的:

如果你是Python新手,上述代碼可能會(huì)比較難懂,但它全部要做的就是繼承一個(gè)父類,并實(shí)現(xiàn)父類中的兩個(gè)方法。在Python中,我們通過(guò)將父類的名字作為參數(shù)傳入來(lái)創(chuàng)建子類。init方法相當(dāng)于Python中的構(gòu)造器,super方法用于將子類的參數(shù)傳給父類,我們的例子中父類就是nn.Module。

2.不同機(jī)器學(xué)習(xí)問(wèn)題的模型架構(gòu)

待解決的問(wèn)題種類將基本決定我們將要使用的層,處理序列化數(shù)據(jù)問(wèn)題的模型從線性層開(kāi)始,一直到長(zhǎng)短期記憶(LSTM)層。基于要解決的問(wèn)題類別,最后一層是確定的。使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法解決的問(wèn)題通常有三類,最后一層的情況通常如下。

?對(duì)于回歸問(wèn)題,如預(yù)測(cè)T恤衫的銷售價(jià)格,最后使用的是有一個(gè)輸出的線性層,輸出值為連續(xù)的。

?將一張給定的圖片歸類為T(mén)恤衫或襯衫,用到的是sigmoid激活函數(shù),因?yàn)樗妮敵鲋挡皇墙咏?就是接近0,這種問(wèn)題通常稱為二分類問(wèn)題。

?對(duì)于多類別分類問(wèn)題,如必須把給定的圖片歸類為T(mén)恤、牛仔褲、襯衫或連衣裙,網(wǎng)絡(luò)最后將使用softmax層。讓我們拋開(kāi)數(shù)學(xué)原理來(lái)直觀理解softmax的作用。舉例來(lái)說(shuō),它從前一線性層獲取輸入,并輸出給定數(shù)量樣例上的概率。在我們的例子中,將訓(xùn)練它預(yù)測(cè)每個(gè)圖片類別的4種概率。記住,所有概率相加的總和必然為1。

3.損失函數(shù)

一旦定義好了網(wǎng)絡(luò)架構(gòu),還剩下最重要的兩步。一步是評(píng)估網(wǎng)絡(luò)執(zhí)行特定的回歸或分類任務(wù)時(shí)表現(xiàn)的優(yōu)異程度,另一步是優(yōu)化權(quán)重。

優(yōu)化器(梯度下降)通常接受一個(gè)標(biāo)量值,因而loss函數(shù)應(yīng)生成一個(gè)標(biāo)量值,并使其在訓(xùn)練期間最小化。某些用例,如預(yù)測(cè)道路上障礙物的位置并判斷是否為行人,將需要兩個(gè)或更多損失函數(shù)。即使在這樣的場(chǎng)景下,我們也需要把損失組合成一個(gè)優(yōu)化器可以最小化的標(biāo)量。最后一章將詳細(xì)討論把多個(gè)損失值組合成一個(gè)標(biāo)量的真實(shí)例子。

上一章中,我們定義了自己的loss函數(shù)。PyTorch提供了經(jīng)常使用的loss函數(shù)的實(shí)現(xiàn)。我們看看回歸和分類問(wèn)題的loss函數(shù)。

回歸問(wèn)題經(jīng)常使用的loss函數(shù)是均方誤差(MSE)。它和前面一章實(shí)現(xiàn)的loss函數(shù)相同。可以使用PyTorch中實(shí)現(xiàn)的loss函數(shù),如下所示:

對(duì)于分類問(wèn)題,我們使用交叉熵?fù)p失函數(shù)。在介紹交叉熵的數(shù)學(xué)原理之前,先了解下交叉熵?fù)p失函數(shù)做的事情。它計(jì)算用于預(yù)測(cè)概率的分類網(wǎng)絡(luò)的損失值,損失總和應(yīng)為1,就像softmax層一樣。當(dāng)預(yù)測(cè)概率相對(duì)正確概率發(fā)散時(shí),交叉熵?fù)p失增加。例如,如果我們的分類算法對(duì)圖3.5為貓的預(yù)測(cè)概率值為0.1,而實(shí)際上這是只熊貓,那么交叉熵?fù)p失就會(huì)更高。如果預(yù)測(cè)的結(jié)果和真實(shí)標(biāo)簽相近,那么交叉熵?fù)p失就會(huì)更低。

下面是用Python代碼實(shí)現(xiàn)這種場(chǎng)景的例子。

為了在分類問(wèn)題中使用交叉熵?fù)p失,我們真的不需要擔(dān)心內(nèi)部發(fā)生的事情——只要記住,預(yù)測(cè)差時(shí)損失值高,預(yù)測(cè)好時(shí)損失值低。PyTorch提供了loss函數(shù)的實(shí)現(xiàn),可以按照如下方式使用。

PyTorch包含的其他一些loss函數(shù)如表3.1所示。

表3.1

L1 loss 通常作為正則化器使用;第4章將進(jìn)一步講述

MSE loss 均方誤差損失,用于回歸問(wèn)題的損失函數(shù)

Cross-entropy loss 交叉熵?fù)p失,用于二分類和多類別分類問(wèn)題

NLL Loss 用于分類問(wèn)題,允許用戶使用特定的權(quán)重處理不平衡數(shù)據(jù)集

NLL Loss2d 用于像素級(jí)分類,通常和圖像分割問(wèn)題有關(guān)

4.優(yōu)化網(wǎng)絡(luò)架構(gòu)

計(jì)算出網(wǎng)絡(luò)的損失值后,需要優(yōu)化權(quán)重以減少損失,并改善算法準(zhǔn)確率。簡(jiǎn)單起見(jiàn),讓我們看看作為黑盒的優(yōu)化器,它們接受損失函數(shù)和所有的學(xué)習(xí)參數(shù),并微量調(diào)整來(lái)改善網(wǎng)絡(luò)性能。PyTorch提供了深度學(xué)習(xí)中經(jīng)常用到的大多數(shù)優(yōu)化器。如果大家想研究這些優(yōu)化器內(nèi)部的動(dòng)作,了解其數(shù)學(xué)原理,強(qiáng)烈建議瀏覽以下博客:

PyTorch提供的一些常用的優(yōu)化器如下:

?ADADELTA

?Adagrad

?Adam

?SparseAdam

?Adamax

?ASGD

?LBFGS

?RMSProp

?Rprop

?SGD

審核編輯 黃昊宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 非線性
    +關(guān)注

    關(guān)注

    1

    文章

    213

    瀏覽量

    23218
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4355

    瀏覽量

    63333
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    808

    瀏覽量

    13520
收藏 0人收藏
  • 人工智能君1

評(píng)論

相關(guān)推薦

ADS8472采集進(jìn)來(lái)的數(shù)據(jù)大多數(shù)是1039(040F),3087(0C0F),為什么?

進(jìn)來(lái)的數(shù)據(jù)大多數(shù)是1039(040F),3087(0C0F),難道這是芯片出廠設(shè)置的測(cè)試數(shù)據(jù)嗎? 2、既然是采樣的正弦波信號(hào),按照我的理解,芯片理論上在每個(gè)采樣周期采集到的數(shù)據(jù)都應(yīng)該不同,頂多有兩三
發(fā)表于 12-24 08:13

非線性負(fù)載分為哪些類型

非線性負(fù)載是指其電流波形與電壓波形不成線性關(guān)系的負(fù)載,這類負(fù)載在電力系統(tǒng)中較為常見(jiàn),會(huì)對(duì)電網(wǎng)產(chǎn)生一系列不良影響。根據(jù)不同的分類標(biāo)準(zhǔn),非線性負(fù)載可以分為以下幾種類型: 一、按負(fù)載性質(zhì)分 電阻性
發(fā)表于 12-18 15:18

射頻放大器的的線性非線性特性

在無(wú)線通信系統(tǒng)中,我們應(yīng)該聽(tīng)說(shuō)過(guò)線性系統(tǒng)和非線性系統(tǒng)。它通常是指系統(tǒng)的輸入和輸出的關(guān)系是否成線性關(guān)系。在早期的2G時(shí)代的GSM就是非線性系統(tǒng)
的頭像 發(fā)表于 10-23 10:32 ?871次閱讀
射頻放大器的的<b class='flag-5'>線性</b>和<b class='flag-5'>非線性</b>特性

集成運(yùn)放電路非線性應(yīng)用要求是什么

集成運(yùn)算放大器(簡(jiǎn)稱運(yùn)放)是一種具有高增益、高輸入阻抗、低輸出阻抗的放大器,廣泛應(yīng)用于模擬信號(hào)處理、信號(hào)放大、濾波、波形生成等領(lǐng)域。在非線性應(yīng)用中,運(yùn)放可以進(jìn)行函數(shù)運(yùn)算、波形變換、信號(hào)處理等操作
的頭像 發(fā)表于 09-03 09:24 ?1099次閱讀

PGA309一旦校準(zhǔn)非線性就不準(zhǔn),為什么?

我自己寫(xiě)了一個(gè)程序做PGA309的校準(zhǔn),現(xiàn)在如果不做非線性校準(zhǔn)的話可以把零點(diǎn)和滿點(diǎn)校準(zhǔn)到很精確,但是一旦校準(zhǔn)非線性就不準(zhǔn)。 我的校準(zhǔn)方法是先按照非線性為0來(lái)校準(zhǔn)一遍,這樣可以把零點(diǎn)和
發(fā)表于 08-15 08:31

神經(jīng)元模型激活函數(shù)通常有哪幾類

神經(jīng)元模型激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的關(guān)鍵組成部分,它們負(fù)責(zé)在神經(jīng)元之間引入非線性,使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)和模擬復(fù)雜的函數(shù)映射。以下是對(duì)神經(jīng)元模型激活
的頭像 發(fā)表于 07-11 11:33 ?1226次閱讀

非線性電路的基本特點(diǎn)是什么

電路是指電路中的元件或電路本身具有非線性特性,即輸入與輸出之間的關(guān)系不是線性的。在非線性電路中,元件的電壓、電流或功率與時(shí)間的關(guān)系不是簡(jiǎn)單的正比關(guān)系,而是滿足某種非線性
的頭像 發(fā)表于 07-09 11:15 ?1803次閱讀

非線性電路具有什么作用

與輸入之間的關(guān)系不是線性的電路。在這些電路中,輸出信號(hào)的幅度或相位與輸入信號(hào)的幅度或相位之間的關(guān)系可以用非線性函數(shù)描述。非線性電路與線性電路
的頭像 發(fā)表于 07-09 10:41 ?1330次閱讀

前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和常見(jiàn)激活函數(shù)

激活函數(shù)非線性變換,能夠?qū)W習(xí)和模擬復(fù)雜的函數(shù)映射,從而解決各種監(jiān)督學(xué)習(xí)任務(wù)。本文將詳細(xì)闡述前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu),包括其組成層、權(quán)重和偏置、激活
的頭像 發(fā)表于 07-09 10:31 ?1246次閱讀

BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)怎么選擇

中,激活函數(shù)起著至關(guān)重要的作用,它決定神經(jīng)元的輸出方式,進(jìn)而影響整個(gè)網(wǎng)絡(luò)的性能。 一、激活函數(shù)的作用
的頭像 發(fā)表于 07-03 10:02 ?920次閱讀

卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)的作用

起著至關(guān)重要的作用,它們可以增加網(wǎng)絡(luò)的非線性,提高網(wǎng)絡(luò)的表達(dá)能力,使網(wǎng)絡(luò)能夠?qū)W習(xí)到更加復(fù)雜的特征。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的作用、常見(jiàn)激活
的頭像 發(fā)表于 07-03 09:18 ?1379次閱讀

神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的定義及類型

詳細(xì)介紹激活函數(shù)的定義、類型。 激活函數(shù)的定義和基本功能 2.1 定義 激活函數(shù)(Activat
的頭像 發(fā)表于 07-02 10:09 ?858次閱讀

神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有哪些

在神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)是一個(gè)至關(guān)重要的組成部分,它決定神經(jīng)元對(duì)于輸入信號(hào)的反應(yīng)方式,為神經(jīng)網(wǎng)絡(luò)引入了非線性因素,使得網(wǎng)絡(luò)能夠?qū)W習(xí)和處理復(fù)雜的模式。本文將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)中
的頭像 發(fā)表于 07-01 11:52 ?782次閱讀

PyTorch激活函數(shù)的全面概覽

為了更清晰地學(xué)習(xí)Pytorch中的激活函數(shù),并對(duì)比它們之間的不同,這里對(duì)最新版本的Pytorch中的激活
的頭像 發(fā)表于 04-30 09:26 ?670次閱讀
<b class='flag-5'>PyTorch</b>中<b class='flag-5'>激活</b><b class='flag-5'>函數(shù)</b>的全面概覽

STM32L451用USB I2C發(fā)送擦除指令后,大多數(shù)情況接收到的是NACK的值,為什么?

發(fā)送擦除指令后,大多數(shù)情況接收到的是NACK的值
發(fā)表于 03-28 08:17
主站蜘蛛池模板: 久久精品无码一区二区日韩av | www色视频在线观看 WWW色视频片内射 | 伊人久久精品AV一区二区 | 99久久免费视频6 | 国产综合自拍 偷拍在线 | 成人无码在线视频区 | 蜜芽一区二区国产精品 | 暖暖日本大全免费观看 | 攵女yin乱合集高h | 白银谷在线观看 | 男人都懂www深夜免费网站 | 午夜福利体验免费体验区 | 男人扒开添女人下部口述 | 亚洲精品久久久久无码AV片软件 | 午夜国产高清精品一区免费 | 久久人妻无码毛片A片麻豆 久久人妻熟女中文字幕AV蜜芽 | 99视频久久精品久久 | 国产欧美一区二区精品久久久 | 韩国羞羞秘密教学子开车漫书 | 97色伦久久视频在观看 | 爱人 qvod| 精品国产国产精2020久久日 | s8sp视频高清在线播放 | 成人bt下载 | 99热久久爱五月天婷婷 | 亚洲AV精品乱码专区 | 久久精品亚洲精品国产欧美 | 国产高清免费视频免费观看 | 免费国产久久啪在线 | 国产成人无码区免费内射一片色欲 | 欧美日韩永久久一区二区三区 | 国产精品久久毛片A片软件爽爽 | 年轻的的小婊孑2中文字幕 你是淫荡的我的女王 | 久久精品国产免费播放 | 久久精品一区二区影院 | 摸董事长的裤裆恋老小说 | 久久精品热在线观看85 | 久久免费精彩视频 | 极品少妇高潮啪啪AV无码 | 熟女人妻AV五十路六十路 | 日韩中文字幕欧美在线视频 |

電子發(fā)燒友

中國(guó)電子工程師最喜歡的網(wǎng)站

  • 2931785位工程師會(huì)員交流學(xué)習(xí)
  • 獲取您個(gè)性化的科技前沿技術(shù)信息
  • 參加活動(dòng)獲取豐厚的禮品