色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于PyTorch的深度學習入門教程之使用PyTorch構建一個神經網絡

ss ? 來源:雁回晴空 ? 作者:雁回晴空 ? 2021-02-15 09:40 ? 次閱讀

前言

本文參考PyTorch官網的教程,分為五個基本模塊來介紹PyTorch。為了避免文章過長,這五個模塊分別在五篇博文中介紹。

Part1:PyTorch簡單知識

Part2:PyTorch的自動梯度計算

Part3:使用PyTorch構建一個神經網絡

Part4:訓練一個神經網絡分類器

Part5:數(shù)據(jù)并行化

本文是關于Part3的內容。

Part3:使用PyTorch構建一個神經網絡

神經網絡可以使用touch.nn來構建。nn依賴于autograd來定義模型,并且對其求導。一個nn.Module包含網絡的層(layers),同時forward(input)可以返回output。

例如,下面的網絡(卷積網絡)是用來對數(shù)字圖像進行分類的。

convnet

這是一個簡單的前饋網絡。它接受輸入,然后一層一層向前傳播,最后輸出一個結果。

訓練神經網絡的典型步驟如下:

(1) 定義神經網絡,該網絡包含一些可以學習的參數(shù)(如權重)

(2) 在輸入數(shù)據(jù)集上進行迭代

(3) 使用網絡對輸入數(shù)據(jù)進行處理

(4) 計算loss(輸出值距離正確值有多遠)

(5) 將梯度反向傳播到網絡參數(shù)中

(6) 更新網絡的權重,使用簡單的更新法則:weight = weight - learning_rate* gradient,即:新的權重=舊的權重-學習率*梯度值。

1 定義網絡

我們先定義一個網絡:

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()
        # 1 input image channel, 6 output channels, 5x5 square convolution
        # kernel
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        # an affine operation: y = Wx + b
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # Max pooling over a (2, 2) window
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        # If the size is a square you can only specify a single number
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features


net = Net()
print(net)

預期輸出:

Net(

(conv1):Conv2d(1,6,kernel_size=(5,5),stride=(1,1))

(conv2):Conv2d(6,16,kernel_size=(5,5),stride=(1,1))

(fc1):Linear(400->120)

(fc2):Linear(120->84)

(fc3):Linear(84->10)

)

你只需要定義forward函數(shù),那么backward函數(shù)(梯度在此函數(shù)中計算)就會利用autograd來自動定義。你可以在forward函數(shù)中使用Tensor的任何運算。

學習到的參數(shù)可以被net.parameters()返回。

params = list(net.parameters())
print(len(params))
print(params[0].size())  # conv1's .weight

預期輸出:

10

torch.Size([6,1,5,5])

前向計算的輸入和輸出都是autograd.Variable,注意,這個網絡(LeNet)的輸入尺寸是32*32。為了在MNIST數(shù)據(jù)集上使用這個網絡,請把圖像大小轉變?yōu)?2*32。

input = Variable(torch.randn(1, 1, 32, 32))
out = net(input)
print(out)

預期輸出:

Variable containing:
-0.0796  0.0330  0.0103  0.0250  0.1153 -0.0136  0.0234  0.0881  0.0374 -0.0359
[torch.FloatTensor of size 1x10]

將梯度緩沖區(qū)歸零,然后使用隨機梯度值進行反向傳播。

net.zero_grad()
out.backward(torch.randn(1, 10))

注意:torch.nn只支持mini-batches. 完整的torch.nn package只支持mini-batch形式的樣本作為輸入,并且不能只包含一個樣本。例如,nn.Conv2d會采用一個4D的Tensor(nSamples* nChannels * Height * Width)。如果你有一個單樣本,可以使用input.unsqueeze(0)來添加一個虛假的批量維度。

在繼續(xù)之前,讓我們回顧一下迄今為止所見過的所有類。

概述:

(1) torch.Tensor——多維數(shù)組

(2) autograd.Variable——包裝了一個Tensor,并且記錄了應用于其上的運算。與Tensor具有相同的API,同時增加了一些新東西例如backward()。并且有相對于該tensor的梯度值。

(3) nn.Module——神經網絡模塊。封裝參數(shù)的簡便方式,對于參數(shù)向GPU移動,以及導出、加載等有幫助。

(4) nn.Parameter——這是一種變量(Variable),當作為一個屬性(attribute)分配到一個模塊(Module)時,可以自動注冊為一個參數(shù)(parameter)。

(5) autograd.Function——執(zhí)行自動求導運算的前向和反向定義。每一個Variable運算,創(chuàng)建至少一個單獨的Function節(jié)點,該節(jié)點連接到創(chuàng)建了Variable并且編碼了它的歷史的函數(shù)身上。

2 損失函數(shù)(Loss Function)

損失函數(shù)采用輸出值和目標值作為輸入?yún)?shù),來計算輸出值距離目標值還有多大差距。在nn package中有很多種不同的損失函數(shù),最簡單的一個loss就是nn.MSELoss,它計算輸出值和目標值之間的均方差。

例如:

output = net(input)
target = Variable(torch.arange(1, 11))  # a dummy target, for example
criterion = nn.MSELoss()

loss = criterion(output, target)
print(loss)

現(xiàn)在,從反向看loss,使用.grad_fn屬性,你會看到一個計算graph如下:

input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d
      -> view -> linear -> relu -> linear -> relu -> linear
      -> MSELoss
      -> loss

當我們調用loss.backward(),整個的graph關于loss求導,graph中的所有Variables都會有他們自己的.grad變量。

為了理解,我們進行幾個反向步驟。

print(loss.grad_fn)  # MSELoss
print(loss.grad_fn.next_functions[0][0])  # Linear
print(loss.grad_fn.next_functions[0][0].next_functions[0][0])  # ReLU

預期輸出:

<torch.autograd.function.MSELossBackwardobjectat0x7fb3c0dcf4f8>

<torch.autograd.function.AddmmBackwardobjectat0x7fb3c0dcf408>

<AccumulateGradobjectat0x7fb3c0db79e8>

3 反向傳播(Backprop)

可以使用loss.backward()進行誤差反向傳播。你需要清除已經存在的梯度值,否則梯度將會積累到現(xiàn)有的梯度上。

現(xiàn)在,我們調用loss.backward(),看一看conv1的bias 梯度在backward之前和之后的值。

net.zero_grad()     # zeroes the gradient buffers of all parameters

print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)

loss.backward()

print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

4 更新權重

實踐當中最簡單的更新法則就是隨機梯度下降法( StochasticGradient Descent (SGD))

weight = weight - learning_rate * gradient

執(zhí)行這個操作的python代碼如下:

learning_rate = 0.01
for f in net.parameters():
    f.data.sub_(f.grad.data * learning_rate)

但是當你使用神經網絡的時候,你可能會想要嘗試多種不同的更新法則,例如SGD,Nesterov-SGD, Adam, RMSProp等。為了實現(xiàn)此功能,有一個package叫做torch.optim已經實現(xiàn)了這些。使用它也很方便:

import torch.optim as optim

# create your optimizer
optimizer = optim.SGD(net.parameters(), lr=0.01)

# in your training loop:
optimizer.zero_grad()   # zero the gradient buffers
output = net(input)
loss = criterion(output, target)
loss.backward()
optimizer.step()    # Does the update

責任編輯:xj
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4789

    瀏覽量

    101618
  • 深度學習
    +關注

    關注

    73

    文章

    5527

    瀏覽量

    121893
  • pytorch
    +關注

    關注

    2

    文章

    808

    瀏覽量

    13515
收藏 人收藏

    評論

    相關推薦

    BP神經網絡深度學習的關系

    ),是種多層前饋神經網絡,它通過反向傳播算法進行訓練。BP神經網絡由輸入層、或多個隱藏層和輸出層組成,通過逐層遞減的方式調整
    的頭像 發(fā)表于 02-12 15:15 ?298次閱讀

    深度學習入門:簡單神經網絡構建與實現(xiàn)

    深度學習中,神經網絡是核心模型。今天我們用 Python 和 NumPy 構建簡單的
    的頭像 發(fā)表于 01-23 13:52 ?219次閱讀

    Pytorch深度學習訓練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學習訓練。
    的頭像 發(fā)表于 10-28 14:05 ?362次閱讀
    <b class='flag-5'>Pytorch</b><b class='flag-5'>深度</b><b class='flag-5'>學習</b>訓練的方法

    pytorch怎么在pycharm中運行

    部分:PyTorch和PyCharm的安裝 1.1 安裝PyTorch PyTorch
    的頭像 發(fā)表于 08-01 16:22 ?1787次閱讀

    如何構建多層神經網絡

    構建多層神經網絡(MLP, Multi-Layer Perceptron)模型是在機器學習深度
    的頭像 發(fā)表于 07-19 17:19 ?1142次閱讀

    PyTorch深度學習開發(fā)環(huán)境搭建指南

    PyTorch作為種流行的深度學習框架,其開發(fā)環(huán)境的搭建對于深度學習研究者和開發(fā)者來說至關重要
    的頭像 發(fā)表于 07-16 18:29 ?1508次閱讀

    PyTorch如何實現(xiàn)多層全連接神經網絡

    PyTorch中實現(xiàn)多層全連接神經網絡(也稱為密集連接神經網絡或DNN)是相對直接的過程,涉及定義
    的頭像 發(fā)表于 07-11 16:07 ?1465次閱讀

    如何在PyTorch中實現(xiàn)LeNet-5網絡

    PyTorch中實現(xiàn)LeNet-5網絡涉及深度學習基礎知識、
    的頭像 發(fā)表于 07-11 10:58 ?939次閱讀

    pytorch中有神經網絡模型嗎

    當然,PyTorch廣泛使用的深度學習框架,它提供了許多預訓練的神經網絡模型。
    的頭像 發(fā)表于 07-11 09:59 ?1000次閱讀

    PyTorch神經網絡模型構建過程

    PyTorch,作為廣泛使用的開源深度學習庫,提供了豐富的工具和模塊,幫助開發(fā)者構建、訓練和
    的頭像 發(fā)表于 07-10 14:57 ?630次閱讀

    PyTorch的介紹與使用案例

    學習領域的重要工具。PyTorch底層由C++實現(xiàn),提供了豐富的API接口,使得開發(fā)者能夠高效地構建和訓練
    的頭像 發(fā)表于 07-10 14:19 ?565次閱讀

    PyTorch的特性和使用方法

    使用Python重新寫了很多內容,使其更加靈活易用。它不僅是擁有自動求導功能的深度神經網絡框架,還可以看作是
    的頭像 發(fā)表于 07-02 14:27 ?811次閱讀

    如何使用PyTorch建立網絡模型

    PyTorch基于Python的開源機器學習庫,因其易用性、靈活性和強大的動態(tài)圖特性,在深度學習
    的頭像 發(fā)表于 07-02 14:08 ?550次閱讀

    TensorFlow與PyTorch深度學習框架的比較與選擇

    深度學習作為人工智能領域的重要分支,在過去十年中取得了顯著的進展。在構建和訓練深度
    的頭像 發(fā)表于 07-02 14:04 ?1240次閱讀

    使用PyTorch構建神經網絡

    PyTorch流行的深度學習框架,它以其簡潔的API和強大的靈活性在學術界和工業(yè)界得到了廣泛應用。在本文中,我們將深入探討如何使用
    的頭像 發(fā)表于 07-02 11:31 ?856次閱讀
    主站蜘蛛池模板: 67194成网页发布在线观看 | 国产69精品久久久久麻豆 | 国产69精品久久久久观看软件 | 十八禁肉动漫无修在线播放 | 国产免费怕怕免费视频观看 | 渔夫床满艳史bd高清在线直播 | 国产午夜一级淫片 | 蜜桃成人在线 | 久久九九少妇免费看A片 | 国产乱辈通伦影片在线播放亚洲 | 人妻无码AV中文系统久久免费 | 亚洲欧美中文在线一区 | H揉捏娇喘乳叫床NP调教视频 | 九九99热久久精品在线6 | 久久亚洲A片COM人成A | 入禽太深免费高清在线观看5 | 亚洲欧美日韩高清专区 | 特大巨黑人吊性xxxxgay | 中文在线中文资源 | 美女穿丝袜被狂躁动态图 | 男人扒开添女人下部口述 | 日韩亚洲欧洲在线rrrr片 | 无码人妻精品一区二区蜜桃在线看 | 成人小视频在线观看免费 | 亚洲精品青青草原avav久久qv | 激情内射亚洲一区二区三区爱妻 | 一本二卡三卡四卡乱码麻豆 | 闺蜜扒开我尿口使劲揉 | 久久久午夜精品福利内容 | 亚洲精品喷白浆在线观看 | 欧美性猛交xxxxxxxx软件 | 国产传媒在线播放 | 99re这里只有精品国产 | 手机在线观看你懂的 | 337p欧洲亚大胆精品 | 处女座历史名人 | 白丝美女被狂躁免费漫画 | 亚洲视频不卡 | 欧美日韩亚洲综合2019 | 国产超碰人人爱被IOS解锁 | 碰超成人在线公开免费视频 |