深度学习目标检测系列之特征金字塔网络FPN

本文介绍深度学习目标检测系列文章，使用的特征金字塔网络，《 Feature Pyramid Networks for Object Detection 》后文简称FPN。

FPN对比之前特征金字塔结构

在Focal Loss一文中，笔者简单提到了FPN网络结构，该结构也比较简单明了，笔者用简短的篇幅来介绍之。上图介绍了特征金字塔结构的发展：

• 图（a）是对图像做金字塔处理，在每个金字塔图像上提取特征、进行predict；

• 图（b）是对图像进行CNN处理，featureMap尺度不断变小，在最后一个featureMap上进行predict；

• 图（c）是对图像进行CNN处理，featureMap尺度不断变小，在多个featureMap进行predict；

• 图（d）就是本文提出的结构，除了在多个featureMap上进行predict之位，每一个进行预测的featureMap还加入了高层的信息；

FPN核心结构

FPN的核心结构如上图所示。我们把左边的三个featureMap称为C1、C2、C3，注意C1、C2、C3尺度大小是按照2倍关系递减的，例如C1是128*128,大小，C2是64*64，C3是32*32。对应的，右边的三个大小随之对应的featureMap称为P1、P2、P3。P3是C3经过一个核个数为256，核大小为1*1的卷积核处理得到的，P2是将P3上采样（resize）在加上C2经过1*1的卷积核处理的结果（核的个数都是256），P1同理。之后P1、P2、P3分别要连接一个3*3的卷积核处理，后面不接非线性层，其目的是为了降低上采样的影响（在图中没有显示出来）。

之后的每个输出featureMap（例如上文经过3*3卷积核处理后的P1、P2、P3）上的操作和之前网络的处理是一样的，论文分别将FPN用到了RPN网络和fast RCNN网络。关于FPN网络笔者就介绍这么图，最重要的还是理解其多个featureMap上进行预测和高层feature叠加到低层的思想。