到目前為止我們看到的 CNN 層,例如卷積層(第 7.2 節)和池化層(第 7.5 節),通常會減少(下采樣)輸入的空間維度(高度和寬度),或保持它們不變。在像素級分類的語義分割中,如果輸入和輸出的空間維度相同,將會很方便。例如,一個輸出像素的通道維度可以保存同一空間位置輸入像素的分類結果。
為了實現這一點,特別是在空間維度被 CNN 層減少之后,我們可以使用另一種類型的 CNN 層來增加(上采樣)中間特征圖的空間維度。在本節中,我們將介紹轉置卷積,也稱為分數步卷積 (Dumoulin 和 Visin,2016),用于通過卷積反轉下采樣操作。
import torch
from torch import nn
from d2l import torch as d2l
from mxnet import init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l
npx.set_np()
14.10.1。基本操作
現在忽略通道,讓我們從步幅為 1 且無填充的基本轉置卷積運算開始。假設我們有一個nh×nw輸入張量和 kh×kw核心。以 1 的步幅滑動內核窗口nw每行的次數和nh每列中的次數總共產生nhnw中間結果。每個中間結果是一個(nh+kh?1)×(nw+kw?1) 初始化為零的張量。為了計算每個中間張量,輸入張量中的每個元素都乘以內核,從而得到kh×kw張量替換每個中間張量中的一部分。請注意,每個中間張量中替換部分的位置對應于用于計算的輸入張量中元素的位置。最后,將所有中間結果相加以產生輸出。
例如,圖 14.10.1說明了轉置卷積如何與2×2內核是為a計算的 2×2輸入張量。
trans_conv
我們可以為輸入矩陣X
和核矩陣實現這種基本的轉置卷積運算 K
。
def trans_conv(X, K):
h, w = K.shape
Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
for i in range(X.shape[0]):
for j in range(X.shape[1]):
Y[i: i + h, j: j + w] += X[i, j] * K
return Y
def trans_conv(X, K):
h, w = K.shape
Y = np.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
for i in range(X.shape[0]):
for j in range(X.shape[1]):
Y[i: i + h, j: j + w] += X[i, j] * K
return Y
與通過內核 減少輸入元素的常規卷積(在第 7.2 節中)相反,轉置卷積通過內核廣播輸入元素,從而產生大于輸入的輸出。我們可以從圖 14.10.1構造輸入張量 和核張量來驗證上述基本二維轉置卷積運算的實現的輸出。X
K
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)
tensor([[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]])
X = np.array([[0.0, 1.0], [2.0, 3.0]])
K = np.array([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)
array([[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]])
或者,當輸入X
和內核K
都是四維張量時,我們可以使用高級 API 來獲得相同的結果。
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)
tensor([[[[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]]]], grad_fn=<ConvolutionBackward0>)
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.Conv2DTranspose(1, kernel_size=2)
tconv.initialize(init.Constant(K))
tconv(X)
array([[[[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]]]])
14.10.2。填充、步幅和多通道
與填充應用于輸入的常規卷積不同,它應用于轉置卷積中的輸出。例如,當指定高度和寬度任一側的填充數為 1 時,第一行和最后一行和列將從轉置卷積輸出中移除。
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)
tconv = nn.Conv2DTranspose(1, kernel_size=2, padding=1)
tconv.initialize(init.Constant(K))
tconv(X)
在轉置卷積中,步長是為中間結果(即輸出)指定的,而不是為輸入指定的。
評論
查看更多