多篇论文已提出使用深层网络来定位专门类别或者未知类别的bounding box。在OverFeat中，利用全连接层来预测单个物体定位任务的box坐标。这一全连接层随后发展为检测多重特定类别物体的卷积层。Multibox方法中，从一个最后一层为用于R-CNN目标检测的全连接层，同时预测多种box的网络中生成region proposal。
卷积的计算共享也引人注意。OverFeat从图像金字塔中计算特征。Adaptively-sized pooling（SPP）和Fast-RCNN也有类似的共享特征图的做法。
在此背景下，作者提出Faster R-CNN。
RPN网络接受图片作为输入，输出一系列矩形带有objectness score的proposal。作者的最终目标是与Fast R-CNN目标检测网络共享计算，因此假设Faster R-CNN与其同有一些列卷积层。实验中使用ZF和VGG。
为了生成候选区域，在最后一层共有的卷积层上使用滑动一个小型网络。该网络与一个n*n空间窗口全连接，以特征图作为输入。每一个滑动窗口映射到1个低维向量中（对于ZF是256d，对于VGG是512d）。该向量流入到2个全连接层中，一个用于分类，一个用于边框回归。
在其他人笔记上https://blog.csdn.net/hunterlew/article/details/71075925借用的图（ZF模型）：
其中，虚线以上是ZF网络最后一层卷积层前的结构，虚线以下是RPN网络特有的结构。
在每个滑动窗口的位置，同时预测k个候选区域。比如每个位置有k个anchor box，那么分类层对于是否有物体的概率有2k个score，而回归层有4k个输出。作者使用3种scale，3种宽高比，k=9。如果输入特征图是W*H，则共有WHk个anchor box。对于方法中的anchor box和其相关候选区域的计算函数有一个很重要的特性，即平移不变性。
关于平移不变性见https://blog.csdn.net/voxel_grid/article/details/79275637
与之相比，MultiBox使用k-means方法来生成800的anchor box，并且它们不具有平移不变性，即如果转变了图像中的物体，候选区域也应该随之改变，相同的函数应该能够预测出任一位置的候选区域。而且，因为MultiBox anchor不具有尺度不变性，它需要（4+1）*800维度的输出层，然而我们的方法只需要一个（4+2）*9维度的输出层，因而参数大大减少，因此降低了在小数据集上过拟合的风险。
这里的multibox源自论文:
D.Erhan,C.Szegedy,A.Toshev,andD.Anguelov. Scalable object detection using deep neural networks. In CVPR, 2014.
C. Szegedy, S. Reed, D. Erhan, and D. Anguelov. Scalable, high-quality object detection. arXiv:1412.1441v2, 2015.
好像是比较老的方法？暂时没有去看原来的论文，因此不太了解所谓的“不具有尺度不变性”。这里吐槽一下百度，搜MultiBox出来的全是在此之后才发表的SSD论文。。。
对于Loss Function：
对每个anchor分配一个标签{1，0}。对于一个ground truth box拥有最高交并比的anchor或者与任意ground-truth box交并比都高于0.7的anchor，添加正样本标签。值得注意的是，一个ground-truth box可能指派正样本到多个anchor上。 如果一个anchor与所有ground truth box交并比低于0.3，则标为负样本。非正非负的anchor不参与训练。
Loss Function定义如下：
其中，
i为一个anchor在一个minibatch中的序号。
是anchor i是一个物体的可能性。
是ground truth 标签，1和0代表anchor的正和负。
是一个代表预测bounding box 的4参数坐标的向量。
是与一个正anchor相联系的ground truth box座标向量。
是两个类的log loss。
是回归loss，
,R为Robust Loss Function（Smooth L1）
表示回归loss只在正anchor（
）中激活
两项分别用和
归一化，加上平衡权重
在回归方面，定义4种参数如下：
x，y为box中心，w，h为宽高。x，，
分别代表predicted box，anchor box和ground truth box。这可以被认为是bounding box从一个anchor box回归到ground truth box的过程。
考虑到不同的尺寸，需要学习k个regressor，每一个对应一个大小和一个宽高比，k个regressor之间不共享权重。如此便能对固定尺寸大小的特征预测不同尺寸的box。
作者使用“image-centric”来训练网络（源自R. Girshick. Fast R-CNN. arXiv:1504.08083, 2015）。如果对所有anchor box进行损失函数计算，则会向负样本偏移因为它们占主导地位（数量多？）。因此在一个图像中随机选取256个anchor为一个minibatch，使正负anchor比例为最多至1：1。如果图像中正样本少于128，则用负样本填充这个minibatch。（这边看不懂，正样本都不足一半了还添加负样本？？？）
作者从均值为0，标准差为0.01的高斯分布中提取权重来初始化新的网络层，对于其他的层（共享层）按照标准惯例根据ImageNet预训练出的模型初始化。
对于RPN和Faster RCNN共享的网络，作者采取了4个步骤训练：
1） 单独训练RPN网络，网络参数由预训练模型载入；
2） 单独训练Fast-RCNN网络，将第一步RPN的输出候选区域作为检测网络的输入。具体而言，RPN输出一个候选框，通过候选框截取原图像，并将截取后的图像通过几次conv-pool，然后再通过roi-pooling和fc再输出两条支路，一条是目标分类softmax，另一条是box回归。截止到现在，两个网络并没有共享参数，只是分开训练了；
3） 再次训练RPN，此时固定网络公共部分的参数，只更新RPN独有部分的参数；
4） 那RPN的结果再次微调Fast-RCNN网络，固定网络公共部分的参数，只更新Fast-RCNN独有部分的参数。
在训练时，对于跨越了边界的anchor直接舍弃，不参与损失函数的计算。对于一张典型的1000*600的图，一般会有20k个anchor，舍弃后大概剩下6k个。然而在测试时，我们对整张图片仍使用完整的卷积RPN，对于生成的跨边境边框，加以裁剪至图片边缘。为了减少冗余，基于cls score采用非极大值抑制（NMS），设置高于阈值0.7的被剔除，大致剩下2k个proposal。实验证明，NMS不会降低检测准确率，但是实质上会减少proposal数量。NMS之后，使用top-N的proposal。
部分笔记参考于https://blog.csdn.net/hunterlew/article/details/71075925
还看到一篇写的挺好的https://blog.csdn.net/qq_17448289/article/details/52871461
这篇也挺好的 https://blog.csdn.net/WoPawn/article/details/52223282