简介

自 2012 年 AlexNet 在 ImageNt 比赛上获得冠军，卷积神经网络逐渐取代传统算法成为处理计算机视觉任务的核心。在这几年，研究人员从提升特征提取能力，改进回传梯度更新效果，缩短训练时间，可视化内部结构，减少网络参数量，模型轻量化, 自动设计网络结构等这些方面，对卷积神经网络的结构有了较大的改进，逐渐研究出了 AlexNet、ZFNet、VGG、NIN、GoogLeNet 和 Inception 系列、ResNet、WRN 和 DenseNet 等一系列经典模型。

Bottleneck Block

一般而言，网络越深越宽会有更好的特征提取能力，但当网络达到一定层数后，随着层数的增加反而导致准确率下降，网络收敛速度更慢。

针对这个问题，ResNet 的创新之处有二点：

• 提出 Shortcut Conection, 右边直接连接的部分称为 Identiy Maping；

• 提出瓶颈模块(Bottleneck Block)用于丰富特征：包含1x1、3x3、1x1卷积和残差架构

使用瓶颈模块构建出了 ResNet34, ResNet50, ResNet101, ResNet152 等深层神经网络,这些CNN网络用于更深层次视觉任务（如目标分类、目标检测、语义分割、目标跟踪等）来提取图像目标特征。

ResNet结构

ResNet网络整体由Bottleneck Block组成，前面穿插几层卷积层，下表列出ResNet18、ResNet34、ResNet50、ResNet101和Resnet152的结构图。