该篇文章系跨模态行人重识别cross-modality范畴，发表于CVPR2020，作者信息如下：
摘要
cm-ReID的挑战在于模态间的差异。目前大家的方法往往更加关注于学习公共的特征表示，利用一个相同的特征空间嵌入不同的模态。然而，只关注公共特征，势必造成整体的信息损失，从而影响性能。于此文之中，作者为解决上述局限，提出了一个cross modality shared-specific feature transfer algorithm(也唤作cm-SSFT)，以来发掘两模态间共有特征和独有特征间的潜在信息，用来提升整体性能。
引言
图1可以看到，现有的模态共享特征学习方法由于不能从其他模态中提取特定的信息而放弃了大量有用的特定线索，而本文的算法尝试在跨模态邻近吸引力模型的基础上引入模态特征，有效地利用了每个样本的共享信息和特定信息。
本文主要贡献
- 本文提出了一个端到端的跨模态特有-独有特征转化算法（cm-SSFT），达到了SOTA。
- 作者通过在跨模态邻近吸引力模型的基础上引入模态特征，有效利用了每个样本的共有和独有信息。
- 作者提出了一种新颖的补充学习方法，用以提取跨模态判别性和互补性的共有和独有信息，可有效提高cm-SSFT的效果
网络框架
输入图像首先被输入到two-stream特征提取器中，以获得共享的和特定的特征。然后使用shared-specific transfer network (SSTN)模型来确定模态内和模态间的相似性。然后在不同的模态间传播共享和特定特征，以弥补缺乏的特定信息并增强共享特征。在特征提取器上增加了两个项目对抗重建块(project adversarial and reconstruction blocks)和一个模式适应模块(modality- adaptation module)，以获得区别性、互补性的共享特征和特定特征。
为了更好地表示整个pipeline，图中用R，I和S来区分RGB，IR以及共享空间。分别用H和P表示共享和特有特征。
two-stream特征提取器
如Figure所示，双流特征提取器包括模态共享流（蓝色），和模态特有流（绿色表示RGB，黄色表示IR）
为了确保这两类特征具有区分性，该方法在每一个特征上加入了一个分类损失Lc。
除此之外，为了得到更好的区分性，作者加了三元组损失
Shared-Specific Transfer Network
为了统一特征表示，作者用了一个三元组
即Figure中的这一部分
受图卷积网络的启发，在此利用近邻传播信息，与此同时维护整体样本的上下文结构空间。：所提出的**共享-特定传输网络（cmSSFT）可以弥补缺乏的特定特征，共同提高整体表现的鲁棒性。
如FIgure2所示，SSTN首先根据这两种特征对样本的亲和力进行建模。然后利用关联模型(affinity model)**传播模态内和模态间的信息。最后，特征学习步骤利用classification和triplet losses来指导整体的优化过程。
Affinity modeling(关联建模)
：我们使用共享的和特定的特性来建模成对的亲缘关系(pair-wise affinity)。我们利用特定的特征来计算模态内的亲缘性和模态间的共享特征
以上表达的，也就是图中的这一块
类内相似度和类间相似度代表了同模态和不同模态样本之间的关系。我们定义了以下亲和力矩阵：
其中T(•，k)是近邻选择的函数。它保持矩阵每一行的top-k值不变，并将其他的设为0（即保留权重最大的K个值，其他为0）：
亲和力矩阵可以看做是权重，相似度越大，距离越小，权重越大。
Shared and specific information propagation.
以上所述的亲和力矩阵所表现的是不同样本的相似程度。SSTN利用此举证来传播特征。在此之前，RGB和IR的特征通过行维度连接特征。
Shared and specific complementary learning
…
