前言：博主目前的研究课题为“可见光遥感图像目标检测”，研究兴趣是大尺寸高分辨率遥感图像上多尺度目标及小物体检测。为了整理阅读过的文献，梳理研究思路，记录自己的理解感悟，遂开启一个“物体检测系列博客”。
R-CNN系列综述及阅读笔记主要梳理R-CNN的思想及研究进展，细分为概述性文章和论文阅读笔记。
转载请注明文章出处:
CNN高层特征具有丰富的语义信息，低层特征具有较高空间分辨率，研究如何融合不同层之间的特征，是物体检测领域热门的方向。近期很多工作通过融合多层来提升检测和分割的性能，按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。
早融合: 先融合多层的特征，然后在融合后的特征上训练预测器。这类方法也被称为skip connection。
这里面的代表是ION和HyperNet。本文主要介绍 HyperNet的思想细节。
转载请注明文章出处: 多尺度R-CNN论文笔记(3): HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection http://blog.csdn.net/solomon1558/article/details/72824389
1. Abstract
现有的Region Proposal Network(RPN)方法在小物体检测和精确定位方面有待改进。本文提出一种深度层次化的网络HyperNet，用于改进Faster R-CNN的小物体检测能力。HyperNet使用在CNN网络多层次feature maps上提取的Hyper Feature进行RPN以及Fast RCNN检测任务。Hyper Feature能够集成语义信息丰富但是分辨率低的高层feature和分辨率高但是语义信息弱的浅层网络特征，从而提升RPN和Fast R-CNN的性能，尤其提升小目标的检测能力。HyperNet给予Faster R-CNN改进，使用VGG 16骨干网，在VOC 2007和2012数据集上前向测试的处理速度5fps。
2. Methods
HyperNet是基于Faster R-CNN进行改进，使用多层特征融合的动机是用于处理小尺度物体的检测问题。
使用Deconv对高层特征进行上采样，使用max pooling对底层特征下采样，局部响应归一化(local response normalization, LRN)后将不同层的特征拼接起来，组成Hyper feature。这个Hyper feature用于改进RPN和Fast R-CNN的性能。
如图-1所示，首先进行多层特征融合操作，提取Hyper Feature，然后在Hyper Feature的基础上进行Region Proposal提取与Fast R-CNN阶段。
图-1 HyperNet object detection architecture
总结：