人脸识别face_recognition

人脸识别face recognition

0 简介

人脸识别大致分为如下三个部分:

人脸检测 face detection
人脸对齐 face alignment
人脸识别 face recognition,包括:
face verification:两张图片相似程度。
face identification: 在图片库中检索与当前图片相似度最高的图片。
1 人脸检测

face detection通常认为是在图片中找到人脸的过程,这个过程常用的办法有用openCV调用’haarcascade_frontalface_default.xml’或者其他xml文件构建分类器对象,通过detectMultiScale函数返回人脸框坐标,在图像中框出人脸。也可以通过深度学习的方法定位人脸。

1.1 openCV-haarcascade检测

1.2 faster-RCNN 检测人脸

github : face-py-faster-rcnn
参考http://blog.csdn.net/zengdong_1991/article/details/66475821
编译过程中如果出现问题,参考faster rcnn +cudnn V5方法2,Caffe + CUDNN V5:

用最新caffe源码(https://github.com/BVLC/caffe)的以下文件替换掉faster rcnn 的对应文件
include/caffe/layers/cudnn_relu_layer.hpp,
src/caffe/layers/cudnn_relu_layer.cpp,
src/caffe/layers/cudnn_relu_layer.cu
include/caffe/layers/cudnn_sigmoid_layer.hpp, src/caffe/layers/cudnn_sigmoid_layer.cpp, src/caffe/layers/cudnn_sigmoid_layer.cu
include/caffe/layers/cudnn_tanh_layer.hpp, src/caffe/layers/cudnn_tanh_layer.cpp,
src/caffe/layers/cudnn_tanh_layer.cu
用caffe源码中的这个文件替换掉faster rcnn 对应文件
include/caffe/util/cudnn.hpp
将 faster rcnn 中的 src/caffe/layers/cudnn_conv_layer.cu 文件中的所有v3版本的函数名称替换为v5版本
cudnnConvolutionBackwardData_v3 函数名替换为 cudnnConvolutionBackwardData
cudnnConvolutionBackwardFilter_v3函数名替换为 cudnnConvolutionBackwardFilter
在根目录下运行python ./tools/run_face_detection_on_fddb.py,可返回坐标

1.3 SSD-face 检测人脸

github: ssd-face
1.4 MTCNN 检测人脸

facenet正是利用MTCNN检测人脸和inception-resnet-v1来识别。
- github: facenet
需要配合识别3.4节一起使用,自己修改后可以利用opencv读入摄像头直接识别人脸。

2 人脸对齐

face alignment指在标定人脸位置后对人脸上的特征进一步定位,可以对人脸检测的侧脸进行校正,旋转,3d变换等,也可以对特征点进行特定的表情变化。常用的有5点和68点特征。如DCNN,TCDCN,MTCNN等方法。

2.1 DCNN

https://github.com/luoyetx/deep-landmark
下载LFW数据进行训练和测试

3 人脸识别

人脸识别是由CNN提取人脸的特征,将两张待测图片输入至训练好的CNN,提取全连接层的特征。模型一般是由预训练的分类模型演变,如1000个人,每个人50张图片训练的CNN模型。

3.1 face verification

两张待测图片在训练好的模型上提取全连接层特征,如vgg的fc7层的4096维特征,进行cosin距离计算。利用vgg-facecaffemodel,如果角度光照相同,可以达到0.93左右的准确率,戴眼镜的影响很大。经过测试vgg-face在0.71至0.73表现最好。

3.2 face identification

将图片库的每张图片(小规模100人至大规模上百万)在训练好的模型上提取全连接特征,将待测图片同样提取特征,对所有特征进行相似度计算,排序后得到相似度最大的图片。vgg-face,GTX970排序一个特征约10−5s
。在大规模数据集的排序可使用LSH等方法。

3.3 vgg-face 实现

http://www.cppblog.com/guijie/archive/2015/10/14/212015.html
下载caffe模型,作为model,可以直接进行测试。也可以进行finetune。verification和identification都可以利用vgg-face实现。利用CASIA测试,最佳阈值约0.71至0.73。

3.4 facenet的inception-resnet-v1实现

github: facenet
可以利用triplet loss 或 softmax loss + center loss 训练,最终的结果呈现为128维特征。可以自行修改为opencv读入摄像头直接识别版本。其LFW验证率为99.2%。

4 整合实现

测试中,CASIA经过openCV的haarcascade cropface后,丢进vgg-face,30类top1约 96%,top5 97.3%。
vggface的LFW在98%以上。
对vgg-face的finetune效果很差,正在尝试resnet50
利用openCV的haarcascade + vgg-face识别速度很快,但检测精度不高
利用face-faster-rcnn检测+vgg-face识别速度较慢,约5.5fps,但是测量也可以检测。
利用facenet,即MTCNN+inception-resnet-v1组合的人脸识别系统,在LFW上可以达到99.2%的准确率。在970下测试跑,可以达到10帧以上。
tips

可以利用import Image,ImageFont,ImageDraw以及drwa.text在输出照片添加中文。
可以添加注册功能。
可以添加距离转换百分比功能。
可以预存特征值。
可添加判断人脸库可以根据是直接保存在一个大文件夹下,还是保存在对应人姓名的文件夹下,通过程序的FLAG(0,1)来判断如何输出以及检测特征。
可添加连续帧判断。


原文链接:https://blog.csdn.net/eclipsesy/article/details/78388468

猜你喜欢

转载自www.cnblogs.com/xingnie/p/12310978.html