深度学习笔记:AlexNet alexnet卷积神经网络

2012年，Hinton的学生Alex Krizhevsky提出了深度卷积神经网络模型AlexNet，在ImageNet大赛上一举夺魁，开启了深度学习的时代，后来大量比AlexNet更快速更准确的卷积神经网络结构相继出现。

AlexNet的结构图和一些参数：

• 卷积层：5层

• 全连接层：3层

• 深度：8层

• 参数个数：6000万

• 神经元个数：65万

AlexNet以显著的优势赢得了2012年的ILSVRC比赛，top5错误率降低至16.4%。相比较第二名26.2%的成绩，错误率有了巨大的提升。

AlexNet将LeNet的思想发扬光大，把CNN应用到了很深很宽的网络结构中。主要新技术点为：

1. 使用Relu函数作为CNN的激活函数，验证其效果在较深的网络上超过了Sigmoid，解决了Sigmoid在深层网络的梯度弥散问题。

2. 训练时使用Dropout随机忽略一些神经元，避免过拟合

3. 在CNN中使用了叠加的最大池化层，提升了特征的丰富性

4. 提出了LRN层，对局部神经元的活动创建竞争机制，使其影响大的值变化相对大，抑制反馈较小的神经元，增强模型泛化能力

5. 使用CUDA加速了深度网络的训练

超参数

AlexNet网络中

• 输入的图片尺寸为224x224

• 第一个卷积层conv1：卷积核11x11，步长为4，卷积核个数为96

• 后接一个LRN层

• 最大池化层3x3， 步长为2

• 之后的卷积层尺寸都为5x5或者3x3，步长为1，具体的参数见图所示
  

我们发现，卷积层虽然计算量大，但是参数量较小，只占据AlexNet总参数的很小一部分。可以通过较小的参数量提取有效的特征。

AlexNet每层超参数和参数数量

AlexNet作为开创者依旧有着很多值得学习参考的地方，它为后续的CNN甚至是R-CNN等其他网络都定下了基调。