导读

本文介绍了一个用于语义分割领域的 attention 模块 scSE。scSE 模块与之前介绍的 BAM 模块很类似，不过在这里 scSE 模块只在语义分割中进行应用和测试，对语义分割准确率带来的提升比较大。

scSE

scSE 模块论文的全称是：《Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks 》。这篇文章对 SE 模块进行了改进，提出了 SE 模块的三个变体 cSE、sSE、scSE，并通过实验证明了了这样的模块可以增强有意义的特征，抑制无用特征。实验是基于两个医学上的数据集 MALC Dataset 和 Visceral Dataset 进行实验的。

语义分割模型大部分都是类似于 U-Net 这样的 encoder-decoder 的形式，先进行下采样，然后进行上采样到与原图一样的尺寸。其添加 SE 模块可以添加在每个卷积层之后，用于对 feature map 信息的提炼。具体方案如下图所示：

然后开始分别介绍由 SE 改进的三个模块，首先说明一下图例:

1. cSE 模块：

这个模块类似之前 BAM 模块里的 Channel attention 模块，通过观察这个图就很容易理解其实现方法，具体流程如下:

• 将 feature map 通过 global average pooling 方法从 [C, H, W] 变为[C, 1, 1]
• 然后使用两个 1×1卷积进行信息的处理，最终得到 C 维的向量
• 然后使用 sigmoid 函数进行归一化，得到对应的 mask
• 最后通过 channel-wise 相乘，得到经过信息校准过的 feature map

2. sSE 模块：

上图是空间注意力机制的实现，与 BAM 中的实现确实有很大不同，实现过程变得很简单，具体分析如下：

• 直接对 feature map 使用 1×1 卷积, 从 [C, H, W] 变为 [1, H, W] 的 features
• 然后使用 sigmoid 进行激活得到 spatial attention map
• 然后直接施加到原始 feature map 中，完成空间的信息校准

NOTE: 这里需要注意一点，先使用 1×1×1 卷积，后使用 sigmoid 函数，这个信息无法从图中直接获取，需要理解论文。

3. scSE 模块：

可以看出 scSE 是前两个模块的并联，与 BAM 的并联很相似，具体就是在分别通过 sSE 和 cSE 模块后，然后将两个模块相加，得到更为精准校准的 feature map, 直接上代码：

这三个模块都很容易实现，可以说是仅仅比 SE 模块稍微复杂一点，接下来看一下实验部分

作者分别在两个数据集上使用了三个语义分割网络，以上就是结果，可以看出 scSE 模块可以带来 2-9% 的提升，相比于 BAM,CBAM,SE 等对分类网络带来的 1% 左右的提升，要好很多。不仅如此，添加了 scSE 模块可以带来细粒度的语义分割提升，能够让分割边缘更加平滑，在医学图像分割领域效果很好。