卷积神经网络图片分类模型之Inception v3

1. 虽然Inception v1 的参数较少，但是它的结构比较复杂，难以进行修改。原因有以下两点：

• 如果单纯的放大网络（如增加Inception 模块的数量、扩展Inception 模块的大小），则参数的数量会显著增长，计算代价太大。
• Inception v1 结构中的各种设计，其对最终结果的贡献尚未明确。

因此Inception v3 的论文重点探讨了网络结构设计的原则。

网络结构

1. Inception v3 的网络深度为42层，它相对于Inception v1 网络主要做了以下改动：

• 7x7 卷积替换为3个3x3 卷积。
• 3个Inception模块：模块中的5x5 卷积替换为2个3x3 卷积，同时使用后面描述的网格尺寸缩减技术。
• 5个Inception 模块：模块中的5x5 卷积替换为2个3x3 卷积之后，所有的nxn 卷积进行非对称分解，同时使用后面描述的网格尺寸缩减技术。
• 2个Inception 模块：结构如下。它也使用了卷积分解技术，以及网格尺寸缩减技术。

Inception v3 的网络结构如下所示：

• 3xInception 表示三个Inception 模块，4xInception 表示四个Inception 模块，5xInception 表示五个Inception 模块。
• conv padded 表示使用0填充的卷积，它可以保持feature map 的尺寸。
• 在Inception 模块内的卷积也使用0填充，所有其它的卷积/池化不再使用填充。

在3xInception 模块的输出之后设有一个辅助分类器。其结构如下：

Inception v3 整体参数数量约 23,626,728万（论文Xception: Deep Learning with Depthwise Separable Convolutions）。

设计技巧

1. Inception v3 总结出网络设计的一套通用设计原则：

• 避免representation 瓶颈：representation 的大小应该从输入到输出缓缓减小，避免极端压缩。在缩小feature map 尺寸的同时，应该增加feature map 的通道数。
• representation 大小通常指的是feature map 的容量，即feature map 的width x height x channel 。
• 空间聚合：可以通过空间聚合来完成低维嵌入，而不会在表达能力上有较大的损失。因此通常在nxn 卷积之前，先利用1x1 卷积来降低输入维度。
• 猜测的原因是：空间维度之间的强相关性导致了空间聚合过程中的信息丢失较少。
• 平衡网络的宽度和深度：增加网络的宽度或者深度都可以提高网络的泛化能力，因此计算资源需要在网络的深度和宽度之间取得平衡。

1 卷积尺寸分解

1. 大卷积核的分解：将大卷积核分解为多个小的卷积核。
2. 如：使用2个3x3 卷积替换5x5 卷积，则其参数数量大约是1个5x5 卷积的 72% 。

nxn 卷积核的非对称分解：将nxn 卷积替换为1xn 卷积和nx1 卷积。

• 这种非对称分解的参数数量是原始卷积数量的 。随着n 的增加，计算成本的节省非常显著。
• 论文指出：对于较大的feature map ，这种分解不能很好的工作；但是对于中等大小的 feature map （尺寸在12～20 之间），这种分解效果非常好。