要点：
- Faster_R-CNN = RPN + Fast R-CNN
GitHub地址：vision/torchvision/models/detection at main · pytorch/vision · GitHub
三 Faster_R-CNN
Faster R-CNN算法流程可分为3个步骤
- 将图像输入网络得到相应的特征图
- 使用RPN结构生成候选框，将RPN生成的候选框投影到 特征图上获得相应的特征矩阵
- 将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图， 接着将特征图展平通过一系列全连接层得到预测结果
3.1 损失逻辑
对于特征图上的每个3x3的滑动窗口，计算出滑动窗口中心点对应 原始图像上的中心点，并计算出k个anchor boxes (注意和proposal的差异)。
- 三种尺度(面积){ 1282 , 2562 , 5122}
- 三种比例{ 1:1, 1:2, 2:1 }
- 每个位置(每个滑动窗口)在原图上都对应有3x3=9 anchor
对于一张1000x600x3的图像，大约有 60x40x9(20k)个anchor，忽略跨越边界的 anchor以后，剩下约6k个anchor。对于RPN 生成的候选框之间存在大量重叠，基于候选框的cls得分，采用非极大值抑制，IoU 设为0.7，这样每张图片只剩2k个候选框。
3.2 RPN Multi-task loss
3.3 分类损失
3.4 边界框回归损失
3.5 Faster R-CNN训练
直接采用RPN Loss+ Fast R-CNN Loss的联合训练方法
原论文中采用分别训练RPN以及Fast R-CNN的方法
(1)利用 lmageNet 预训练分类模型初始化前置卷积网络层参数，并开始单独训练RPN网络参数;
(2)固定RPN网络独有的卷积层以及全连接层参数，再利用 marelNet预训练分类型初始化前置卷积网络参数，并利用RPN 网络生成的目标建议框去训练FastRCNN网络参数
(3)固定利用Fast RCNN训练好的前置卷积网络层参数，去微调RPN网络独有的卷积层以及全连接层参数。
(4)同样保持固定前置卷积网络层参数，去微调FatRCNN网络的全 连接层参数。最后RPN网络与FastRCN网络共享前置卷积网络层 参数，构成一个统一网络。
3.6 Faster R-CNN框架
结构对比：
3.7 FPN网络
- 针对目标检测任务
- cocoAP提升2.3个点
- pascalAP提升3.8个点
3.7.1 针对不同的预测特征层，RPN和Fast RCNN的权重共享
3.8 源码解读
环境配置：
- Python3.6/3.7/3.8
- Pytorch1.7.1(注意：必须是1.6.0或以上，因为使用官方提供的混合精度训练1.6.0后才支持)
- pycocotools(Linux:
pip install pycocotools; Windows:pip install pycocotools-windows(不需要额外安装vs)) - 最好使用GPU训练
- 详细环境配置见
requirements.txt
文件结构：
├── backbone: 特征提取网络，可以根据自己的要求选择
├── network_files: Faster R-CNN网络（包括Fast R-CNN以及RPN等模块）
├── train_utils: 训练验证相关模块（包括cocotools）
├── my_dataset.py: 自定义dataset用于读取VOC数据集
├── train_mobilenet.py: 以MobileNetV2做为backbone进行训练
├── train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练
├── train_multi_GPU.py: 针对使用多GPU的用户使用
├── predict.py: 简易的预测脚本，使用训练好的权重进行预测测试
├── validation.py: 利用训练好的权重验证/测试数据的COCO指标，并生成record_mAP.txt文件
└── pascal_voc_classes.json: pascal_voc标签文件
预训练权重下载地址（下载后放入backbone文件夹中）：
- MobileNetV2 backbone: https://download.pytorch.org/models/mobilenet_v2-b0353104.pth
- ResNet50+FPN backbone: https://download.pytorch.org/models/fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
- 注意，下载的预训练权重记得要重命名，比如在train_resnet50_fpn.py中读取的是
fasterrcnn_resnet50_fpn_coco.pth文件， 不是fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
本项目中使用的是PASCAL VOC2012数据集：
- Pascal VOC2012 train/val数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
- 如果不了解数据集或者想使用自己的数据集进行训练，请看之前课程中介绍PASCAL VOC数据集和制作自己的数据集的课程视频.
- 使用ResNet50+FPN以及迁移学习在VOC2012数据集上得到的权重: 链接:百度网盘 请输入提取码提取码:vixt
训练方法：
- 确保提前准备好数据集
- 确保提前下载好对应预训练模型权重
- 若要训练mobilenetv2+fasterrcnn，直接使用train_mobilenet.py训练脚本
- 若要训练resnet50+fpn+fasterrcnn，直接使用train_resnet50_fpn.py训练脚本
注意事项：
- 在使用训练脚本时，注意要将'--data-path'(VOC_root)设置为自己存放'VOCdevkit'文件夹所在的根目录
- 由于带有FPN结构的Faster RCNN很吃显存，如果GPU的显存不够(如果batch_size小于8的话)建议在create_model函数中使用默认的norm_layer， 即不传递norm_layer变量，默认去使用FrozenBatchNorm2d(即不会去更新参数的bn层),使用中发现效果也很好。
- 在使用预测脚本时，要将 'train_weights' 设置为你自己生成的权重路径。
- 使用 validation 文件时，注意确保你的验证集或者测试集中必须包含每个类别的目标，并且使用时只需要修改 '--num-classes'、'--data-path' 和 '--weights' 即可，其他代码尽量不要改动。