Deep Fusion Siamese Network for Automatic Kinship Verification-笔记

Deep Fusion Siamese Network for Automatic Kinship Verification-笔记

此文：提出了一个深度暹罗网络来量化两个人之间的相对相似性

当给定两个输入人脸图像时，深度孪生网络从中提取特征，并通过组合和连接来融合这些特征。然后，将融合后的特征输入全连接网络，得到两张人脸之间的相似度得分，用于验证亲属关系。

为了提高性能，还采用陪审团系统进行多模型融合。其次，将两个深度孪生网络集成为一个深度三元网络，用于三主体（即父亲、母亲和孩子）亲属关系验证，旨在确定孩子是否与一对父母有亲属关系。

具体而言，对得到的父子和母子相似度得分进行加权，生成父子相似度得分，用于亲属关系验证。

自动亲属关系验证，作为一个经典的布尔问题，用于预测给定的人脸图像是否具有亲属关系。它在各种现实世界的应用中至关重要，例如家谱研究 [1]、社交媒体分析 [2] 和追踪失踪人员 [3]。

最基本的亲属关系验证是 1-vs-l 验证，其中两个人脸图像作为输入，输出是判断两个人是否是同一家庭的成员，如图 1（a）所示。作为 1-vs-1 验证的自然延伸。三主体验证是一个特殊的亲属关系验证问题，用于判断一个孩子是否与一对父母有亲属关系，本质上是一个 2-vs-l 验证，如图 2 所示。 . 1 (b)。例如，当比较两张脸时，一张是父亲，另一张是儿子，如果有父亲的妻子的图像，就可以知道未来的母亲。因此，三主体验证旨在检查一对父母和孩子之间的亲属关系。

在这项工作中，我们提出了一个深度孪生网络来实现亲属关系验证。深度孪生网络由两个分支组成，分别用于提取两个输入人脸图像的特征。提取的特征与不同的操作相结合，然后连接成一个长向量。接下来，将长向量馈入全连接网络以测量两个人的相对相似度。最后，我们设置一个阈值参数，将相似度得分分为 1 或 0，这表明两个人是否相关。

为了从不同的模型中受益，我们引入了用于多模型融合的陪审团系统。此外，我们提出了一个用于三主体亲属关系验证的深度三元网络，该网络基于两个深度孪生网络构建。两个深度孪生网络共享一个分支来提取孩子的特征。因此，深度三元组网络具有三个分支，分别用于提取父亲、母亲和孩子的特征。特征也通过组合和连接进行融合，然后将它们输入到两个全连接网络中，以获得父子（FC）和母子（MC）的相似度得分。最后，通过一个阈值参数，将两个相似度得分的加权和量化为1或0，这表明一个孩子是否与一对父母有关。

个人总结

1.针对1-1血缘认证提出深度孪生网络：首先，用孪生网络提取输入图像的特征，并将特征进行融合后串联，然后，输入全连接网络以获得两张人脸的相似度得分，为提升性能采用陪审系统（jury system）进行多模融合；2.针对2-1的三元组学院认证（父母-孩子）问题，提出深度三元组网络：对FC（father-child）和MC(Mother-child)相似度得分加权后生成 PC（parent-child）相似度得分从而实现血缘认证。

本文的主要贡献总结如下:

(1) 提出了一个深度孪生网络用于双主体亲属关系验证。我们采用多种特征融合操作来改进网络中的相似性度量学习，而不是直接连接特征[15]。同时，我们采用陪审团制度，从多模型融合中受益。

(2) 通过融合两个深度孪生网络，我们提出了一个深度三元网络，用于三主体亲属关系验证。与[16]相比，额外使用了几个超参数来灵活地提高网络的性能。

（3）我们的团队（ustc-nelslip）已经在RFIW2020挑战赛中取得了骄人的成绩，在Tri-Subject Verification（track II）中获得了第一名，在亲属验证（track I）中获得了第三名。

A 深度孪生网络 Deep siamese network

网络结构如图4所示，采用在VGGFace2数据集上预训练的ResNet50或SENet50作为backbone,提取出的特征进行融合及串联后输入全连接网络，得到2张图像的相似度得分。设置阈值t，即根据式1可得到最终的预测输出：有血缘关系or无学院关系.

采用预测准确度（式2）度量算法性能：

最终通过加权和计算整体的准确度（根据每种关系的样本对数进行加权)。

B 特征融合 Feature Fusion

特征融合目的是进一步深度孪生网络的非线性能力，其本质是对两个输入的人脸特征进行抽象编码以利于全连接网络更好的学习相似度矩阵。设x,y分别表示提取到的人脸特征，本文有5中不同的特征融合方式（如下图），其中
表示连接，图4展示了具体的融合过程。

后续的全连接层fc1为128维，fc为1维，对fc1的输出采用sigmoid函数激活即可获得相似度得分。

C. 损失函数

介绍了两种损失函数BCE和focal loss，后续通过实验选择性能好的损失函数

BCE:交叉熵损失函数如式3所示，其中y表示实际标签（0或1），p表示预测值（激活函数的输出）

Focal Loss:可缓解正负样本数（还是难易样本数？有待进一步考究）不均衡问题。当a=0.5时，两个损失一样。

D. 陪审系统 Jury System

从不同配置（如骨干网络、损失、特征融合）的模型中获益，采用陪审制度用于多模型融合。本文选用性能最好的单模型作为主要模型，选用其他几个性能优异模型作为辅助模型。设置3个阈值：低值0.1、中间值0.3和高值0.5.具体流程如算法1所示：

E：深度三元组网络 deep Triplet Network

如图5所示，结构图为3支路结构（不共享权重）分别提取父亲母亲和孩子的特征，同样采用在VGGFace2上预训练的ResNet50或SENet50作为backbone,孩子特征分别与父母特征融合，然后将融合后的特征输入全连接网络获得相似的得分，Sfc和Smc，将两个相似度加权求和获得最终的PC相似度，如式7所示。最后设置阈值t判断是否有血缘关系。