卷积普遍会遇到一个问题：原始图像经过卷积神经网络后下采样一定倍数后，有一些小像素物体在特征图上会消失，导致无法被检测出。
-
上图(a)是处理这类问题最常用的方法，即特征金字塔，这种方法在传统的手动设计特征的方法中非常常用，例如DPM方法使用了接近10种不同的尺度获得了不错的效果。
-
上图(b)是在CNN提出之后出现的，因为神经网络模型对物体尺度本身有一定的鲁棒性，所以也取得了不错的性能，但最近的研究表明将特征金字塔和CNN结合仍可以提升性能，这说明基于单层特征的检测系统仍存在对尺度变化敏感的缺点。
-
上图(c)表示除了使用图像金字塔，我们可以使用深度学习本身的多层次结构来提取多尺度特征。最常见的就是SSD算法中利用多个特征层来分别做预测。但这种方式也有一些缺点就是浅层的语义特征比较弱，在处理小物体时表现得不够好。
-
上图(d)表示本文提出的FPN（Feature Pyramid Network ），它它能较好的让各个不同尺度的特征都具有较强的语义信息。FPN结合Faster RCNN可以在COCO物体检测比赛中取得当前单模型的最佳性能（SOTA）。另外，通过对比实验发现，FPN能让Faster RCNN中的RPN网络的召回率提高8个点；并且它也能使Fast RCNN的检测性能提升2.3个点（COCO）和3.8个点（VOC）。作者在论文中提出的新方法——FPN（特征金字塔网络），速度跟c一样快同时比c更准。 底层的feature map分辨率高但是语义信息弱，顶层的feature map分辨率低但是语义信息强，因此只用将顶层的语义信息传给底层，就能让其分类更精准。
作者采用的方法，就是将上层的feature map上采样到2倍，然后跟经过1*1 conv的相邻下层feature map直接相加。
Faster R-CNN只使用了一个尺度的feature map，但是可能这层特征的语义表达不是那么的强，但如果选择后面的层的话，虽然语义表达强了，但是其位置信息可能就不是那么充分了。所以我们需要在不同尺度的feature map进行分类和检测，这样才可以得到充分的语义信息和位置信息。SSD模型是首个尝试将特征金字塔应用到深层卷积网络中的，但是为了避免使用底层信息，SSD从网络的高层开始建立金字塔网络（VGG16中的conv4_3），然后在后面增加了几个新的层。因此，SSD错过了重用特征层高分辨率信息的机会，所以就造成了SSD对小目标的召回率有点低。
通过上图我们可以分析：
-
使用图像去建立特征金字塔，每个尺度图像独立计算特征，很慢
-
检测系统只使用单个feature map，如faster R-CNN
-
构建卷积层特征金字塔结构，但是可以看到其语义特征从高层到底层一直下降（蓝色的深度）,这就导致小目标的检测不太好，如SSD
-
作者的FPN结构，速度与2,3相比一样快，但是更准确。由于其将高层特征经过上采样与底层进行拼接，这样就增加了底层的语义特征
我们可以看到FPN的整体结构分为
自底向上和
自顶向下和侧向连接的过程。接下来我们分别解释一下这两个关键部分。
自底向上
这一部分就是普通的特征提取网络，特征分辨率不断缩小，容易想到这个特征提取网络可以换成任意Backbone，并且CNN网络一般都是按照特征图大小分为不同的stage，每个stage的特征图长宽差距为2倍。在这个自底向上的结构中，一个stage对应特征金字塔的一个level。以我们要用的ResNet为例，选取conv2、conv3、conv4、conv5层的最后一个残差block层特征作为FPN的特征，记为{C2、C3、C4、C5}，也即是FPN网络的4个级别。这几个特征层相对于原图的步长分别为4、8、16、32。
自上向下和侧向连接
自上向下是特征图放大的过程，我们一般采用上采样来实现。FPN的巧妙之处就在于从高层特征上采样既可以利用顶层的高级语义特征（有助于分类）又可以利用底层的高分辨率信息（有助于定位）。上采样可以使用插值的方式实现。为了将高层语义特征和底层的精确定位能力结合，论文提出了类似于残差结构的侧向连接。向连接将上一层经过上采样后和当前层分辨率一致的特征，通过相加的方法进行融合。同时为了保持所有级别的特征层通道数都保持一致，这里使用1*1卷积来实现。在网上看到一张图，比较好的解释了这个过程：
FPN只是一个特征金字塔结构，需要配合其他目标检测算法才能使用。
感谢：
