简介

自 2012 年 AlexNet 在 ImageNt 比赛上获得冠军，卷积神经网络逐渐取代传统算法成为处理计算机视觉任务的核心。在这几年，研究人员从提升特征提取能力，改进回传梯度更新效果，缩短训练时间，可视化内部结构，减少网络参数量，模型轻量化, 自动设计网络结构等这些方面，对卷积神经网络的结构有了较大的改进，逐渐研究出了 AlexNet、ZFNet、VGG、NIN、GoogLeNet 和 Inception 系列、ResNet、WRN 和 DenseNet 等一系列经典模型。

LeNet

第一个卷积神经网络出现在1988年，其结构由卷积层和全连接层组成，激活函数使用 tanh 函数，损失函数使用的是均方误差 MSE，使用了反向传播算法和随机梯度下降。值得一提的是，在这篇论文中还出现了权重共享和特征图像的概念。LeNet 是同作者 LeCun 在另一篇论文中提出的，用于手写数字识别。其结构图如下：

AlexNet

AlexNet 是第一个深度神经网络，整体结构图如下：

其创新之处有如下几点：

• 使用 ReLU 作为激活函数；
• 提出在全连接层使用 Droput 避免过拟合（当 BN 提出后，Droput 基本被BN 替代）；
• 使用局部响应归一化（Local Response Normaliztion，LRN），在生物中存在侧抑制现象，即被激活的神经元会抑制周围的神经元。在这里的目的是让局部响应值大的变得相对更大，并抑制其它响应值相对比较小的卷积核（后续很少使用）；
• 使用重叠池化，作者认为使用重叠池化会提升特征的丰富性，且相对来说会更难过拟合。

NIN

创新之处有二点：

• 使用 MLPconv，后来在其它模型中就演变成了 1x 卷积；
• 提出全局平均池化代替全连接层。

全局平均池化相较于全连接层有如下几点好处：

• 相比于使用全连接层，参数量极大地减少，相对来说没那么容易过拟合；
• 使得 feature map 直接映射到类别信息，这样更符合卷积网络的结构；
• 全局平均池化综合了空间所有的信息，使得对输入的空间转换更鲁棒。

VGG

创新点：

• 使用多个小尺寸的卷积核堆叠代替一个大的卷积核，这样参数更少，而感受野却是一样的。全部使用了 3X 的尺寸，池化都是 2x，步长都为 2。