基于Python进行人脸验证人脸识别综合开发

人脸识别

人脸识别系统通常被分成两大类：

① 人脸验证：“这是不是本人”，需要通过刷身份证（或者能证明身份的有效证件）以及摄像头拍摄人脸照片，然后通过验证照片是否是你本人，比如车站人脸识别，手机人脸解锁功能，这些都是 1:1 的匹配问题。

② 人脸识别：“这个人是谁”，只需要通过摄像头去拍摄你的人脸，检测拍摄的人脸是否存在于系统中，比如公司的刷脸考勤，这样就不要去刷 ID 卡了，这是 1:K 的匹配问题

通过下面项目的内容，将学到下面的东西：

• 实现人脸识别中的三元组损失函数

• 使用一个已经训练好的模型将人脸图像映射到 128-dimension encoding

• 使用这些 encoding 来执行人脸验证和人脸识别

（Note：在此次项目中，使用一个训练好的模型，该模型使用了 channels_first，这个变准现在 DL 社区还没有统一的标准（channels_first or channels_last））这样我们先导入包

我们能想到最简单的人脸验证，最简单的方法就是逐像素的比较两幅图像，选出图片之间误差小于阈值的，那么则可以判断是同一个人，可是，如果收到光照，明亮，人脸朝向，甚至是微小的差别，这样做的效果一定会很差，那么该怎么办呢？？与使用原始图像之间的距离不同的是让系统学习构建一个 f(img)，也就是构建一个 encoding，对该 encoding 的每个元素(这里比较 128)进行，可以更加准确的判断两幅图像是否属于同一个人

一、将人脸图像编码为 128 位的向量

1.1 使用卷积网络来进行编码

FaceNet 模型需要大量的数据和长时间的训练，因为，在深度学习中，我们常见的操作是加载其他人已经训练过的权值，这里提供了模型的实现方法，可以查看 inception_blocks_v2.py 文件来查看是如何实现 faceRecoModel(input_shape)的。

①Inception 网络使用了 96 * 96 的 RGB 图像作为输入数据，图像数量为 m，输入的数据维度为(m,nc,nh,nw) = (m,3,96,96)

② 输出为(m,128)表示 encoding 后的 m 个 128 维的向量.

下面我们来创建一个人脸识别的模型

# 获取模型
FRmodel = faceRecoModel(input_shape=(3, 96, 96))

FRmodel.count_params()###可以打印模型的总参数数量

通过计算两个编码距离与阈值之间的误差，可以确定两幅图片是否是一个人

Encoding 是一个很好的方法：

• 同一个人的两个图像的编码非常相似
• 两个人不同的图像编码非常的不同

说了这么多，但是训练模型时拿什么损失函数呢，也就是什么样的损失函数能保证 encoding 是一个很好的方法呢？那就是三元损失函数

三元损失函数，会试图将同一个人的两个图像(A 和 P)的编码“拉近”，同时将两个不同的人的图像(A 和 N)的编码进一步“分离”，如下图(从左到右 Anchor, Positive, Negative)：

1.2 The Triplet Loss(三元组损失函数)

对于给定的图像 x，其编码为 f(x)，其中 f 为神经网络的计算函数，如下。

我们使用三元组图像(A, P, N)进行训练：

• A-是一个人的图像
• P-是相对于“Anchor”的同一个人的另外一张图像
• N-是相对于“Anchor”的不同的人的另外一张图像

所以我们希望编码 f（A）接近 f（P）,即 ||f(A)f§||2 尽可能的小。而 $||f(A)f(N)|{|}^2$ 尽可能

的大，我们还要保证图像 A 与图像 P 的差值至少比图像 N 的差值相差 α（这里 α=0.2）

$||f(A)f(P)|{|}^2+\alpha \le ||f(A)f(N)|{|}^2$

$||f(A)f(P)|{|}^2+\alpha -||f(A)f(N)|{|}^2\le 0$

这样就可以定义 Loss function 为：

$L(A,P,N) = max(||f(A) - f§ ||^2 - ||f(A) - f(N)||^2+α, 0) $

那么，对于 m 组训练样本，cost function 为:

$J={\sum }_{i=1}^{m}L(A^{(i)},P^{(i)},N^{(i)})$

那么我们来看一下代码实现：

二、加载模型

FaceNet 是通过最小化三元组损失来训练的，但是由于训练需要大量的数据和时间，所以我们不会从头训练，相反，加载一个已经训练好了的模型，运行下列代码来加载模型，可能会需要几分钟的时间。

上面代码还计算了加载模型所需要的时间，另外我们来看一下三个人之间编码的距离的例子。

这部分模型已经构建好，那么如何通过编码距离进行人脸验证和人脸识别呢？？

三、模型应用

之前对“欢乐家”添加了笑脸识别，现在要构建一个人脸验证系统，以便只允许来自指定列表的人员进入。为了通过门禁，每个人都必须在门口刷身份证以表明自己的身份，然后人脸识别系统将检查他们到底是谁。

3.1 人脸验证

对于人脸验证系统，首先需要构建一个数据库，里面包含了允许进入的人员的编码向量，我们使用 fr_uitls.img_to_encoding(image_path, model)函数来生成编码，它会根据图像来进行模型的前向传播计算人脸图像编码。

我们这里的数据库使用的是一个字典来表示，这个字典将每个人的名字映射到他们面部的 128 维编码上，如下（Note：这里要把 images 目录保存在当前目录下面，否则会报错）。

"""构建一个数据库，里面包含了允许进入的人员的编码向量，注意这里要把 images 目录保存在当前
目录下面，否则会报错，至于为什么我也没搞清楚""" 
database = {}
database["danielle"] = img_to_encoding("images\\danielle.png", FRmodel)
database["younes"] = img_to_encoding("images\\younes.jpg", FRmodel)
database["tian"] = img_to_encoding("images\\tian.jpg", FRmodel)
database["andrew"] = img_to_encoding("images\\andrew.jpg", FRmodel)
database["kian"] = img_to_encoding("images\\kian.jpg", FRmodel)
database["dan"] = img_to_encoding("images\\dan.jpg", FRmodel)
database["sebastiano"] = img_to_encoding("images\\sebastiano.jpg", FRmodel)
database["bertrand"] = img_to_encoding("images\\bertrand.jpg", FRmodel)
database["kevin"] = img_to_encoding("images\\kevin.jpg", FRmodel)
database["felix"] = img_to_encoding("images\\felix.jpg", FRmodel)
database["benoit"] = img_to_encoding("images\\benoit.jpg", FRmodel)
database["arnaud"] = img_to_encoding("images\\arnaud.jpg", FRmodel)

人脸验证的思想很简单，即当有人出现在的门前刷他们的身份证的时候，你可以在数据库中根据身份证上的名字查找他们的对应的编码，用它来检查站在门前的人是否与身份证上的名字匹配，代码如下。

我们来测试一下，现在 younes 在门外，相机已经拍下了照片并存放在了

(“images/camera_0.jpg”)，现在我们来验证一下他是否能开门成功。

# younes 来到门前，摄像头拍摄的照片存入 camera_0.jpg，刷 ID 验证是否是 younes 本人

dist, door_open = verify("images\\camera_0.jpg", "younes", database, FRmodel)
print(dist, door_open)

It’s younes,welcome home!

0.6710074 True

还有一种情况，比如 Benoit 已经被禁止进入，也从数据库中删除了 Benoit 的信息，但是他偷了 Kian 的身份证并试图通过门禁，我们来看看他能不能进入呢？(“images/camera_2.jpg”)

# Benoit 拿着 kian 的 ID 来，刷 kian 的 ID 卡想进入房子，结果应该是验证失败
dist1, door_open1 = verify("images\\camera_2.jpg", "kian", database, FRmodel)
print(dist1, door_open1)

It,s notkian,please go away

0.85800153 False

3.2 人脸识别

对于人脸验证系统有个弊端，那就是如果一个人的身份证不见了，那么他将无法进入房子，要是不用身份证那个多好啊，当然这是可以实现的，也就是这里所说的人脸识别系统，这样就不用再带身份证了，一个被授权的人只要走到房子前面，前门就会自动为他们打开! 代码思路和实现如下：

我们也来看一下效果怎么样， younes 和 bertrand 站在前门，相机给他拍了张照片(“images/camera_0.jpg”)和(“images/camera_1.jpg”)。让我们看看 who_it_is()算法是否识别 younes 和 bertrand

min_dist, identity = who_is_it("images\\camera_0.jpg", database, FRmodel)
print(min_dist, identity) min_dist1, identity1 = who_is_it("images\\camera_1.jpg", database, FRmodel)
print(min_dist1, 

it’s younes, the distance is 0.6710074

0.6710074 younes

it’s bertrand, the distance is 0.46740144

0.46740144 bertran

四、总结

• 人脸验证解决了更容易的 1:1 匹配问题，人脸识别解决了更难的 1∶k 匹配问题。

• Triplet loss 是训练神经网络学习人脸图像编码的一种有效的损失函数。

• 相同的编码可用于验证和识别。测量两个图像编码之间的距离可以确定它们是否是同一个人的图片。