前言
在进行人脸识别的测评中，经常会看到涉及到Gallery和Probe两部分数据。初入门的小白可能不太明白这两部分数据是用来干什么的，为什么需要这么分。下面面我们就来讲解一下。
人脸识别评测两种方式
一般的人脸识别算法的性能有两种评测的方式，一种是人脸比对，另一个种是人脸识别。人脸比对就比较好理解了，就是给出两场图片组成一个图片对，让算法来判断这连个图片是不是一个人。另一种就是人脸识别，人脸识别需要一组图像集和一张待认证的图像，我们的目的就是从图像集中找出和待认证的图像身份相同的图像。
Gallery和Probe
从字面的意思来理解，Gallery就是画廊的意思，形象的说，其实就是我们实现准备的一组图片，然后摆在那，构成一个画廊，当有需要认证的图片来的时候，我们就从画廊中挑选出和这个待认证的图像身份相同的图片。这个待认证的图像就是Probe。Probe就是探头、探测器的意思，很形象，就是我们拿着探测器去画廊里试探那张图片和这样探测图像的身份是一致的。很多的Probe就构成了Probe set。Gallery又叫distractors(干扰项)，也很形象就是用来干扰我们探测的图像。一般Probe的身份是已知的，探测之后我们找出Gallery中和Probe最相似的图像，然后判断这张图像的身份和Probe是否相同，如果相同则成功识别，如果不相同识别失败。对Probe set中所有的Probe统计失败和成功的次数，计算出TPR和FPR,就可以计算出人脸算法CMC曲线。我这里讲的是最简单的情况，关于人脸识别算法的性能指标请参考我的博客人脸识别算法评价指标——TAR，FAR，FRR，ERR.
MegaFace中的Probe和Gallery
这里讲解我在使用MegaFace challenge1中遇到的问题，也许有小伙伴和我有一样的疑惑。首先是Probe set，这个没有问题，使用FaceScrub作为Probe Set，里面的图片的身份是已知的。接下来是Gallery，这就有问题了，Gallery中的每个图片的身份标签是没有给的，当我们使用Probe去探测时，探测完成后我们找到了一张和Probe最相近的图像，但是由于没有身份标签，我们怎么判断找到的这张图像和Probe的身份是否相同呢？
不知道大家有没有相似的疑惑，为了解决疑惑我就去读了官方给的评测代码，结果关键的代码给的是编译后的二进制文件。于是开始在网上搜索，最后找到了一片博客Megaface Challenge1 评测步骤解决了我的问题。内容转载如下。其实还有一种解决这个问题的方式就是读MegaFace发表的论文，里面有讲具体是怎么评测的。
-
参照论文 The MegaFace Benchmark: 1 Million Faces for Recognition at Scale，主要进行Identification测试。这里包括两部分数据，一部分probe set，一部分distractors，还有个官方给定的评测程序devkit。其中distractors，是megaface官方提供的自己的数据集，有超过百万人脸。另外一个probe set，采用FaceScrub数据集（包括530个人），为了评测方便，从中选取80个人（男女各半，且每个人照片要超过50张），每个人随机选取一定照片，组成probe set。具体选取的人和照片，参照devkit/templatelists/facescrub_features_list.json，对应的distractors也有对应的megaface_features_list.json_1000000_1。
-
Identification评测逻辑，就是假设probe set 有N个人，每个人有M张图片，每次选取一张图片作为probe photo，然后把剩余的M-1张，在单独每一张和distractors一起组成gallery，然后进行比对，计算rank1，rank10到rank=k的准确率，最终得到CMC曲线，其中相当于和Gallery比对了N∗M∗(M−1)次。
-
对于提供的probe set和distractors，其中有很多错误（probe set中有些图片并不是本人，然后distractors中有些图片是probe set中的人），参照Insight face给出的nosies.txt，进行清除，然后生成特征进行比对。对于官方给的Identification.bin评测程序，注意的就是要把json文件的名称和特征名称匹配就行了。参照Insight face，用LResNet50E-IR，模型进行测试得到rank1=97.2%
-
观察megaface给出的probe set数据集，发现大部分图片，从表情，光照，表情，姿态上都比较正常（大部分微笑表情，没有特别夸张表情），其中Adrienne_Barbeau图片大部分刘海遮住额头，还有一个男星所有图片带着浅色眼睛。综上，probe set中所有图片都是正常质量较高的图片。