在这篇文章中，我将使用常规卷积操作测试和比较神经网络的分类任务，并通过用转置卷积替换卷积来比较相同的网络。

转置卷积运算

转置卷积操作现在是众所周知的，并且已经在许多需要上采样的模型中使用。它与卷积运算非常相似，只是卷积矩阵被转置。因此结果是输出增长而不是减少（取决于使用的padding，步幅和内核大小）。首先，让我们对输出在随机张量上的转置卷积的输出方式进行一些测试。

首先，我导入PyTorch并将其封装为变量，从批量大小为1、通道尺寸为1、高度为5、宽度为5的正态分布中抽取的随机张量如下图所示。然后我定义转置卷积运算，以得到正确的输入，内核大小为3x3，最大步长为1，padding为0。将这些转换为PyTorch代码（Python实现）:

import torch

import torch.nn as nn

from torch.autograd import Variable

random_tensor = Variable(torch.randn(1, 1, 5, 5))

upsample_tnsr = nn.ConvTranspose2d(in_channels = 1, out_channels = 1, kernel_size = 3, stride = 1, padding = 0)

在继续之前，我想指定一些表示法，以方便地遵循这些定义。

一些设置:

• $ latex n_W = $宽度的输入尺寸，$ latex n_H = $高度的输入尺寸。由于张量将是正方形，我们将参数n代表两者。
• p =是应用于张量的填充
• f =内核的大小
• s =是将使用卷积运算应用的步幅。
• c =是张量的通道维数

如果我们对张量应用常规卷积，结果可以描述如下：

这将是张量的宽度和高度的输出，并且它将是相同的，因为我们可以假设输入将具有相同的高度和宽度尺寸。

作为一个例子，假设我考虑上面指定的张量，在padding p = 1，内核大小f = 3和stride s = 1的情况下对其应用常规卷积运算，我们的输出将与输入n相同。

上图中：批量大小= 1，通道= 1，高度，宽度= 5的随机张量上运行卷积运算。内核f = 3，stride = 1 padding = 1的卷积输出在高度和宽度上保持不变。

现在，如果我们想对此运行转置卷积，那么我们期望的结果将通过以下等式描述：

假设在相同的张量上，我们运行转置卷积，其中stride s = 2，内核f = 3，padding = 1.然后我们期望的输出将是output = 9。

现在，如果我们使用stride = 1，内核大小f = 3并且padding = 1，那么输出的结果将与输入相同。

您可以在下面看到结果：

用转置卷积构建网络

现在我利用转置卷积的输出，其中正确的设置保持与输入相同。这将是网络的隐藏层，并且由于平均池操作，到网络的输入图片将仅通过过渡层减少。

所以网络的 Dense Block用Python实现看起来像这样：

class Dense_Block_Transposed(nn.Module):

def __init__(self, in_channels):

super(Dense_Block_Transposed, self).__init__()

self.relu = nn.LeakyReLU(inplace = True)

self.bn = nn.BatchNorm2d(num_features = in_channels)

self.conv1 = nn.ConvTranspose2d(in_channels = in_channels, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)

self.conv2 = nn.ConvTranspose2d(in_channels = 32, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)

self.conv3 = nn.ConvTranspose2d(in_channels = 64, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)

self.conv4 = nn.ConvTranspose2d(in_channels = 96, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)

self.conv5 = nn.ConvTranspose2d(in_channels = 128, out_channels = 32, kernel_size = 3, stride = 1, padding = 1)

def forward(self, x):

bn = self.bn(x)

conv1 = self.relu(self.conv1(bn))

conv2 = self.relu(self.conv2(conv1))

c2_dense = self.relu(torch.cat([conv1, conv2], 1))

conv3 = self.relu(self.conv3(c2_dense))

c3_dense = self.relu(torch.cat([conv1, conv2, conv3], 1))

conv4 = self.relu(self.conv4(c3_dense))

c4_dense = self.relu(torch.cat([conv1, conv2, conv3, conv4], 1))

conv5 = self.relu(self.conv5(c4_dense))

c5_dense = self.relu(torch.cat([conv1, conv2, conv3, conv4, conv5], 1))

return c5_dense

这里，图像的高度和宽度尺寸不会改变，只有通道尺寸增加。

网络的下一个构建块是Transition Layer。

所以Transition Layer的Python代码如下所示：

class Transition_Layer_Transposed(nn.Module):

def __init__(self, in_channels, out_channels):

super(Transition_Layer_Transposed, self).__init__()

self.relu = nn.LeakyReLU(inplace = True)

self.bn = nn.BatchNorm2d(num_features = in_channels)

self.conv = nn.ConvTranspose2d(in_channels = in_channels, out_channels = out_channels, kernel_size = 1, bias = False)

self.avg_pool = nn.AvgPool2d(kernel_size = 2, stride = 2, padding = 0)

def forward(self, x):

bn = self.bn(self.relu(self.conv(x)))

out = self.avg_pool(bn)

return out

与常规的卷积

现在，我要在CIFAR10上训练这个模型，用随机梯度下降和完全相同的超参数训练这两个网络。我对60个epochs进行了优化，并在训练数据上画出了损失。

对每个类的精度分别进行测量

现在让我们看看这些网络对测试数据的表现，以及它们在每个类中的准确性:

结论

通过上述实验，转置卷积似乎可以学习有意义的结果，并且具有与常规卷积相当的准确度，即使对于分类任务也是如此。

但是对于转置卷积更多地用于上采样目的，例如在生成对抗网络中。但正如本文所建议的那样，更好地使用上采样层，例如运行双线性插值以进行上采样，然后进行卷积。