一、 Faster-RCNN代码解释
我们对照官方的代码分析一下工作流程:
主程序是root/py-faster-rcnn/tools/demo.py
#!/usr/bin/env python # -------------------------------------------------------- # Faster R-CNN # Copyright (c) 2015 Microsoft # Licensed under The MIT License [see LICENSE for details] # Written by Ross Girshick # -------------------------------------------------------- """ Demo script showing detections in sample images. See README.md for installation instructions before running. """ import _init_paths ##把root/py-faster-rcnn/lib文件的路径添加到系统和
##root/py-faster-rcnn/caffe-fast-rcnn/python文件路径添加系统 from fast_rcnn.config import cfg ##导入config配置文件，配置文件里面以easydict形式来
##添加参数，分为三个部分（train，test，misc）
##比如添加阈值，设定图片大小，是否开启RPN from fast_rcnn.test import im_detect ##对图片进行resize，换成blobs，返回scores和boxes from fast_rcnn.nms_wrapper import nms from utils.timer import Timer import matplotlib.pyplot as plt import numpy as np import scipy.io as sio import caffe, os, sys, cv2 import argparse CLASSES = ('__background__', 'aeroplane', 'bicycle', 'bird', 'boat', 'bottle', 'bus', 'car', 'cat', 'chair', 'cow', 'diningtable', 'dog', 'horse', 'motorbike', 'person', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor') NETS = {'vgg16': ('VGG16', 'VGG16_faster_rcnn_final.caffemodel'), 'zf': ('ZF', 'ZF_faster_rcnn_final.caffemodel')} def vis_detections(im, class_name, dets, thresh=0.5): """Draw detected bounding boxes.""" inds = np.where(dets[:, -1] >= thresh)[0] if len(inds) == 0: return im = im[:, :, (2, 1, 0)] fig, ax = plt.subplots(figsize=(12, 12)) ax.imshow(im, aspect='equal') for i in inds: bbox = dets[i, :4] score = dets[i, -1] ax.add_patch( plt.Rectangle((bbox[0], bbox[1]), bbox[2] - bbox[0], bbox[3] - bbox[1], fill=False, edgecolor='red', linewidth=3.5) ) ax.text(bbox[0], bbox[1] - 2, '{:s} {:.3f}'.format(class_name, score), bbox=dict(facecolor='blue', alpha=0.5), fontsize=14, color='white') ax.set_title(('{} detections with ' 'p({} | box) >= {:.1f}').format(class_name, class_name, thresh), fontsize=14) plt.axis('off') plt.tight_layout() plt.draw() def demo(net, image_name): """Detect object classes in an image using pre-computed object proposals.""" # Load the demo image im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name) im = cv2.imread(im_file) # Detect all object classes and regress object bounds timer = Timer() timer.tic() scores, boxes = im_detect(net, im) timer.toc() print ('Detection took {:.3f}s for ' '{:d} object proposals').format(timer.total_time, boxes.shape[0]) # Visualize detections for each class CONF_THRESH = 0.8 NMS_THRESH = 0.3 for cls_ind, cls in enumerate(CLASSES[1:]): cls_ind += 1 # because we skipped background cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)] cls_scores = scores[:, cls_ind] dets = np.hstack((cls_boxes, cls_scores[:, np.newaxis])).astype(np.float32) keep = nms(dets, NMS_THRESH) dets = dets[keep, :] vis_detections(im, cls, dets, thresh=CONF_THRESH) def parse_args(): """Parse input arguments.""" parser = argparse.ArgumentParser(description='Faster R-CNN demo') parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]', default=0, type=int) parser.add_argument('--cpu', dest='cpu_mode', help='Use CPU mode (overrides --gpu)', action='store_true') parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16]', choices=NETS.keys(), default='vgg16') args = parser.parse_args() return args if __name__ == '__main__': cfg.TEST.HAS_RPN = True # Use RPN for proposals args = parse_args() ##返回命令参数行，默认使用gpu和vgg16 ##添加.pt文件，就是faster-rcnn的结构图 prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0], 'faster_rcnn_alt_opt', 'faster_rcnn_test.pt')
##添加.caffemodel文件，就是训练好的VGG16模型 caffemodel = os.path.join(cfg.DATA_DIR, 'faster_rcnn_models', NETS[args.demo_net][1]) if not os.path.isfile(caffemodel): raise IOError(('{:s} not found.\nDid you run ./data/script/' 'fetch_faster_rcnn_models.sh?').format(caffemodel)) if args.cpu_mode: caffe.set_mode_cpu() else: caffe.set_mode_gpu() caffe.set_device(args.gpu_id) ##默认开启0设备号的gpu cfg.GPU_ID = args.gpu_id net = caffe.Net(prototxt, caffemodel, caffe.TEST) ##加载caffe网络 print '\n\nLoaded network {:s}'.format(caffemodel) # Warmup on a dummy image im = 128 * np.ones((300, 500, 3), dtype=np.uint8) for i in xrange(2): _, _= im_detect(net, im) ##使用(300, 500, 3)全为1的dummy图片进行预检测，保留网络参数 ##具体过程如下：
##对dummy图片去均值，转换数据类型，然后用线性插值法resize成im_scale=2倍的图片，注意图片大小
##不能超过（600，1000，3）的边界。接着把（600，1000，3）形式的图片或图片集
##转化成（1，600，1000，3）的blobs，这里blobs的初始格式是取图片集的最大宽和高，且只有一张图片。
##把blobs格式转换成（1，3，600，1000）的形式;到这里为止，_get_image_blob返回blob和im_scale_factors=2.0
##_get_blobs返回dict形式的blobs和im_scale_factors，注意此时该blobs = {'data' : blob, 'rois' : None}
##上面的blobs就是我们要操作的最终dict;
##对该blobs添加blobs['im_info']栏，（600，1000，2），2是im_scales[0];
##将caffe网络的data输入项（1，3，224，224）reshape成 blobs['data']的形状，即（1，3，600，1000）
##把dict形式的blobs（3栏）搬移到dict形式的forward_kwargs（2栏），去掉了rois栏
##然后把forward_kwargs送进net里面进行前向运行，输出blobs_out;
##将net.blobs['rois'].data，即将训练后rois层输出的数据保存到rois，
##rois（104，5），将rois后四列缩小2倍回原来的图片规格，即相当于映射前放大2倍，映射后缩小2倍
##对blobs_out['cls_prob']训练后数据保存到scores，blobs_out['cls_prob']是使用softmax层训练的结果;
##得到的是分类的概率。
##blobs_out['bbox_pred']训练后数据保存到box_deltas，然后对boxes相对box_deltas进行转换和裁剪;
##boxes是roi层前的特征，box_deltas是fast-rcnn最终层后的特征，一个输入（104，5）一个输出（104，84）;
##这里涉及到bounding box regression原理，具体细节看另外一篇博客，其实就是Foreground Anchors和GT的拟合靠近;
##上面注意boxes的后四列是框的四个点，而我们要转化成中心坐标，因此损失函数为预测的中心坐标和实际的平方函数
##把预测的中心值转换回boxes的形式，重命名为pred_boxes
##对pre_boxes进行裁剪，具体为负值变0，越界取边界
##最后im_detect函数返回scores(104,21)和pred_boxes(104,84)
im_names = ['000456.jpg', '000542.jpg', '001150.jpg', '001763.jpg', '004545.jpg'] for im_name in im_names: print '~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~' print 'Demo for data/demo/{}'.format(im_name) demo(net, im_name) ##根据路径加载要测试的图片1，利用cv读取图片1;
##利用timer进行计时，
##调用im_detect函数对图片1进行分类和定位，即返回scores和boxes;
##打印对300个建议框进行检测（分类和回归）花费的时间;
##将4列box和1列类合并成5列，命名为dets;
##对每一个类进行nms（非极大值抑制）操作，nms的阈值为0.3，返回keep（内含26个数据的list），即26个框;
##dets取这26个框，然后调用vis_detections函数来画图;
##首先取分类得分大于0.5的行，如果没有大于0.5的行则认为该图不是类1，直接退出并进行类2的检测;
##如果有大于0.5的行，则根据box的四个角画出框和在框上标注类别和得分，注意CONF_THRESH = 0.8得分以上才画出来;
##加载图片2重复相应内容;
plt.show()