人脸识别数据集-Glint360K

1. 介绍

学术界的测评比如IJB-C和megaface，利用该数据集很容易刷到SOTA，大家具体可以看论文，这里展示一下IFRT的结果，IFRT又称国产FRVT, IFRT测试集主要有不同肤色的素人构成，相比起IJB-C和megaface更具有模型的区分度。

相比起目前最好的训练集MS1MV3，Glint360K有十个点的提升

代码和数据地址
论文地址

2. 数据集的规模

Glint360K具有36w类别，和1700w张图片，不论在类别数还是图片数目，相比起MS1MV2都是大幅度的提升，类别数目和图片数目比主流训练集加起来还要多。

3. 如何训练大规模的数据

人脸识别任务特点就是数据多，类别大，几百万几千万类别的数据集在大公司非常常见，例如2015年的时候，Google声称他们有800w类别的人脸训练集。训如此规模的数据时，很直接的方法就是混合并行，即backbone使用数据并行，分类层使用模型并行， W (softmax 线性变换矩阵)分卡存储，这样优点有两个：

1. 缓解了 W 的存储压力。
2. 将 W 梯度的通信转换成了所有GPU的特征 X 与 softmax 局部分母的通信，大大降低了由于数据并行的带了的通信开销。

这种方法看似可以训练无限的类别(增加GPU的数量就好了)，感觉很完美，但是实际上大家在尝试更大规模，更多机器的时候，突然发现，怎么显存不够用了，好像增加类别数的同时增加机器，单个GPU的显存还在增长? 其实我们忽略了另外一个占据显存的张量：logits。

首先定义 $logits=Xw$，其中$w$为存储在每块GPU上的子矩阵， $X$为经过集合通信 $Allgaher$收集到全局的特征，$d$为特征的维度大小，$C$为总的类别数，$k$为GPU的数量，其中每块GPU中$w$占用的显存为：

通过这个公式我们发现，更多的类别数，只要增加GPU的数量，就可以维持 $w$占用的显存不变，我们再看看$logits$，设每块卡上的批次大小为$N$，则对于分类层的总批次大小为$kN$，每块GPU中$logits$占用的显存为：

我们发现，即使类别数和GPU的数量同时增长之后，$logits$占用的显存与总的批次大小$kN$相关，随着GPU数量的增加，$logits$占用的显存是持续增加的，设100w类别的分类任务需要使用8块2080Ti，则1000w类别需要80块2080Ti，设特征维度为512，每块GPU的批次大小为64，则在训练1000w类别的任务时，每个GPU中$logits$占用的显存为$w$的十倍，在这个例子中，混合并行解决了$w$占用的显存，却增加了$logits$占用的显存。

补充：训练技巧之百万级类别的分类模型的拆分训练

4.Partial-FC

在人脸识别中，$Cosinesoftmax$的作用为拉近特征与其相应"正类中心"的距离，对其他的"负类中心"则保持距离。这点其实和最近很火热的自监督表征学习非常类似，Moco通过队列保存更多的历史负样本，SimCLR则使用多机多卡，超大的batchsize来增加负样本的数量，我们发现SimCLR再很大batchsize的时候提升有限了，而再人脸识别中的大规模分类，每个特征的负类中心是所有的类中心，把这些负类中心减少一些是不是也能取到到一样的效果?
答案是肯定的，具体实现方式还是要结合混合并行一起做，我们的做法很简单，“正类必采，负类随机”，再采样类中心的时候，我们要保证正类中心一定是要必须采到的，所以首先会把正类中心都拿出来，其次会随机的采样一些负类中心，补齐到约定的采样率即可。再混合并行的实现中，数据会随机的出现再不同的GPU上，而它的"正类中心"则实现会根据其类别的按照顺序存放在一个固定的GPU上，则会出现样本和"正类中心"不再同一块GPU上的问题。这个解决方案其实也很简单：在我们实现混合并行的时候，不仅同步了每块卡的特征，同时也同步了每块卡标签，每块卡都有所有卡完整的特征和标签，假设总的批次大小为 $kN$ ，则至多会有$kN$个正类中心随机分布再所有的GPU中，我们让每个正类中心所属的GPU将该正类采样出来即可，每块GPU正类采出来后，再随机用负类补齐到约定的采样率，这样是的每块GPU采样的到的类中心都是一样多的，实现负载均衡。后续的过程就就是分类层的模型并行部分了，需要注意的是，只有采样出来的类中心的权重和动量会更新。

5.实验表现

性能方面：

我们在内部的业务和FRVT竞赛上都验证了这个方法，在学术界的测试集IJB-C和Megaface上，使用Glint360K的Full softmax和10%采样会有着相当的结果。

效率方面：

在64块2080Ti，类别数1000w的实验条件下，Partial FC 的速度会是混合并行的3倍，占用的显存也会更低，并且最大支持的类别数也有了一个数量级的飞跃，成功训练起来了一亿id的分类任务。

5. 最后