残差神经网络(ResNet)，一个大规模卷积神经网络

ResNet来自微软的人工智能团队Microsoft Research，是2015年ILSVRC图像分类和物体识别算法的优胜者，其表现超过了GoogLeNet的第三代版本Inception v3 。

ResNet是使用残差块建立的大规模卷积神经网络，其规模是AlexNet的20倍、VGG-16的8倍。

ResNet结构：在ResNet的原始版本中，其残差块由2个卷积层、1个跳跃连接、BN和激励函数组成，ResNet的隐含层共包含16个残差块，按如下方式构建 ：

1. (7×7)×3×64的卷积层（步长为2，无填充，ReLU，BN），3×3的极大池化（步长为2，相同填充）
2. 3个残差块：3×3×64×64卷积层（步长为1，无填充，ReLU，BN），3×3×64×64卷积层（步长为1，无填充）
3. 1个残差块：3×3×64×128（步长为2，无填充，ReLU，BN），3×3×128×128（步长为1，无填充，ReLU，BN）
4. 3个残差块：3×3×128×128（步长为1，无填充，ReLU，BN），3×3×128×128（步长为1，无填充，ReLU，BN）
5. 1个残差块：3×3×128×256（步长为2，无填充，ReLU，BN），3×3×256×256（步长为1，无填充，ReLU，BN）
6. 5个残差块：3×3×256×256（步长为1，无填充，ReLU，BN），3×3×256×256（步长为1，无填充，ReLU，BN）
7. 1个残差块：3×3×256×512（步长为2，无填充，ReLU，BN），3×3×512×512（步长为1，无填充，ReLU，BN）
8. 2个残差块：3×3×512×512（步长为1，无填充，ReLU，BN），3×3×512×512（步长为1，无填充，ReLU，BN）
9. 全局均值池化，1个全连接层，神经元数量为1000

ResNet受到关注的原因是其在隐含层中通过跳跃连接构建的残差块。残差块的堆叠缓解了深度神经网络普遍出现的梯度消失（gradient vanishing）问题，被其后的诸多算法使用，包括GoogLeNet中的Inception v4。

在ResNet的基础上诸多研究尝试了改进算法，包括预激活ResNet（preactivation ResNet）、宽ResNet（wide ResNet）、随机深度ResNets（Stochastic Depth ResNets, SDR）和RiR（ResNet in ResNet）等。预激活ResNet将激励函数和BN计算置于卷积核之前以提升学习表现和更快的学习速度；宽ResNet使用更多通道的卷积核以提升原ResNet的宽度，并尝试在学习中引入随机失活等正则化技术；SDR在学习中随机使卷积层失活并用等值函数取代以达到正则化的效果 ；RiR使用包含跳跃连接和传统卷积层的并行结构建立广义残差块，对ResNet进行了推广。上述改进算法都报告了比传统ResNet更好的学习表现，但尚未在使用基准数据的大规模比较，例如ILSVRC中得到验证。