FPN 特征金字塔网络

目录

一、引入

 二、FPN结构

三、FPN的使用

---

一、引入

        很久以前的目标检测算法，为了可以检测到一张图片中不同尺度的物体，需要对图片进行不同尺寸的缩放，缩放之后的图片集就是图像金字塔。

        为什么在特征提取网络中也需要FPN（Feature Pyramid Network）呢，？传统的CNN网络结构通过不断地卷积和下采样，得到了图像的抽象特征，但是这么做也就等于放弃了一些原图中微小的特征区域，通过卷积层之后，feature map越小，说明原图的感受野越大，但是会丢掉很多细小的信息。

图一

 二、FPN结构

        通过图一可以看到FPN分为两个部分一个是自下而上，一个是自上而下，首先看自下而上的部分，该部分和以往的卷积+池化，没什么区别，在我们得到最高特征的时候，此时将进入自上而下的部分，自上向下是特征图放大的过程，我们一般采用上采样（反卷积）来实现。FPN的巧妙之处就在于从高层特征上采样既可以利用顶层的高级语义特征（有助于分类）又可以利用底层的高分辨率信息（有助于定位）。上采样可以使用插值的方式实现。为了将高层语义特征和底层的精确定位能力结合，论文提出了类似于残差结构的侧向连接。向连接将上一层经过上采样后和当前层分辨率一致的特征，通过相加的方法进行融合。同时为了保持所有级别的特征层通道数都保持一致，这里使用1*1卷积来实现。

图二(a)

图二(b)

三、FPN的使用

        FPN不能单独的使用需要和其他的算法搭配起来，它本身只是一个特征提取的工具，只不过将高层语义和低层语义进行了结合。如图二(b)，如果去掉P3， P4， P5的话，P2就可以单纯的作为输入图片的特征，或者你可以将P2、P3、P4、P5分别进行预测，或者整合其中一些进行预测。

        如果使用在目标检测中，和Faster R-CNN结合，那么就是将RPN，和Fast R-CNN网络中的VGG特征提取网络换成FPN特征提取网络即可。