MobileNet-v2

MobileNet-v2是在v1基础上的改进与优化版本。MobileNet-v2论文题目为MobileNetV2: Inverted Residuals and Linear Bottlenecks，由谷歌发表于2018年CVPR上。

MobileNet-v1的特色就是深度可分离卷积，但研究人员发现深度可分离卷积中有大量卷积核为0，即有很多卷积核没有参与实际计算。作者发现是ReLU激活函数的问题，在低维空间运算中会损失很多信息，而在高维空间中会保留较多有用信息。

因此MobileNet-v2的解决方案也很简单，就是直接将ReLU6激活换成线性激活函数，只将最后一层的ReLU换成线性函数。具体到MobileNet-v2网络中就是将最后的Point-Wise卷积的ReLU6都换成线性函数。MobileNet-v2给这个操作命名为linear bottleneck，这也是v2网络的第一个关键点。

深度卷积（Depth-Wise）本身没有改变通道的作用，比如MobileNet-v1中的深度可分离卷积，在前一半的深度卷积操作中，输入是3个通道，输出还是3个通道。所以为了能让深度卷积能在高维上工作，v2提出在深度卷积之前加一个扩充通道的卷积操作，也就是1x1卷积，具体描述如下图所示。

这种在深度卷积之前扩充通道的操作在MobileNet-v2中被称作Expansion layer，这也是MobileNet-v2的第二个关键点。

MobileNet-v1虽然加了深度可分离卷积，但网络主体仍然是VGG的直筒型结构。所以MobileNet-v2网络的第三个大的关键点就是借鉴了ResNet的残差结构，在MobileNet-v1基础上加入了跳跃连接。相较于ResNet的残差块结构，MobileNet-v2给这种结构命名为Inverted resdiual block，即倒残差块。

从图中可以看到，ResNet是先0.25倍降维，然后标准3x3卷积，再升维，而MobileNet-v2则是先6倍升维，然后深度可分离卷积，最后再降维。MobileNet-v2的维度升降顺序跟ResNet完全相反，所以才叫倒残差。

综合上述三个关键点：Linear Bottlenecks、Expansion layer和Inverted resdiual之后就组成了MobileNet-v2的block，如下图所示。

MobileNet v2的结构如下图所示

从上图可以看到，输入经过一个常规卷积之后，MobileNet-v2网络紧接着加了7个bottleneck block层，然后再两个1x1卷积和一个7x7的平均池化的组合操作。