Cross-Modality Person Re-Identification with Generative Adversarial Training
目前的问题：
当前，面对这种跨模态问题，主要有两个困难：
1.RGB和红外模式之间缺乏识别同一人的区别信息
2.很难为这种大规模的交叉模式检索学习稳健的度量
为了解决识别信息不足的问题，本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的鉴别特征表示。
为了解决大规模交叉模态度量学习的问题，本文将识别损失（identification loss）和交叉模态三重损失（cross-modality triplet loss）结合起来，使类间差异性最小化，同时使不同情况下的交叉模态相似性最大化。
网络框架及loss：
CmGAN网络框架包含生成器和鉴别器：从RGB和IR模式中提取的特征V和I分别输入全连接层，经GAP后生成2048维特征。然后，对生成器进行identification loss和cross-modality triplet loss的训练。最后，模态分类器起到鉴别器的作用来鉴别不同的模态。
Generator:包含两种loss函数，第一种为intra-class feature embedding loss即identification loss，其作用为模态识别，即对公共子空间中各模态的特征表示进行投影，利用identification loss建立了若干全连接层，前向网络由softmax激活，并在GAP后输出probability distribution of person identifications，作为discriminator的输入，具体如下：其中，v代表RGB图像，I代表IR通道，pj代表每个ID的分布概率
第二种为inter-modality loss，即cross-modality triplet loss，其目的是使来自不同模态的同一人的特征之间的差异最小化。具体如下：其中，a,p,n为同一ID的3张不同的图像，公式2中，a为RGB图像，p,n为IR图像，式3相反，加ξ阈值后，取正数
其中，不同阈值的结果如下：
最后将两个loss函数合并入下：其中，a,b为超参数
Discriminator：模态分类器是混淆不同模态下数据的特征，让网络无法分辨出特征来自同一域或者不同域，起着对抗的作用，其具体表达函数为交叉熵，如下：
在训练时，G和D的目标函数为max-min game如下：
实验：
本文选用的数据集是“RGB-Infrared Cross-Modality Person Re-Identification”中提出的SYSU-MM01数据集。
具体测试结果如下：
