1. 摘要
- 现有的无监督Re-ID方法通常建立在聚类的伪标签上。然而聚类结果严重的依赖学习的特征的质量，那很大程度上受图片颜色的影响。我们试图抑制颜色的负面主导影响，以学习无监督人Re-ID的更有效特征。具体而言，我们提出了一种用于无监督人员Re-ID的聚类引导非对称对比学习（CACL）方法，其中利用聚类结果在适当设计的不对称对比学习框架中引导特征学习。在CACL中，实例级和聚类级的对比学习都被用来帮助孪生网络学习判别特征分别针对不同的数据增强视图内和不同的数据扩展视图之间的聚类结果。此外，我们还提出了一种聚类细化方法，并验证了聚类细化步骤对CACL的显著帮助。
2. 引言
-
最近，现有的无监督人员Re-ID方法通常建立在利用聚类中的弱监督信息（例如，伪标签）的基础上。然而，这些方法的性能在很大程度上取决于伪标签的质量，而伪标签直接取决于输入图像的特征表示。最近，对比学习被应用于在无监督环境中执行特征学习。这些方法的主要思想是通过基于数据增强的自监督机制来学习特征表示中的一些不变性。
-
在本文中，我们试图利用聚类信息进行对比学习，为无监督的人Re-ID开发一个有效的框架。我们注意到，人Re-ID的性能在很大程度上取决于学习特征的有效性。然而，学习到的特征绝大多数由行人图像中的颜色主导，尤其是在无监督设置。例如，具有相似颜色衣服的行人图像在特征空间中的距离往往较小，这可能导致聚类错误，而聚类错误可能进一步给训练网络的伪标签带来错误的指导。尽管颜色是匹配行人图像的重要特征。它也可能成为学习更微妙和有效的纹理特征的障碍，这些纹理特征是Re-ID的重要精细线索。因此，希望学习能够抵抗人的Re-ID任务的主色的更鲁棒和辨别的特征。
-
但是，在不损失判别信息的情况下，适当抑制颜色的负面影响以学习更有效的细粒度特征是非常具有挑战性的。例如，在对比训练中直接使用随机颜色变化（即颜色抖动）进行数据增强可能会损害颜色分布的一致性，而无助于获得对看不见样本的泛化能力。为此，在本文中，我们提出了一种新的、有效的无监督人Re-ID框架，称为聚类引导的非对称对比学习（CACL），其中将聚类信息适当地纳入对比学习中，以学习鲁棒和判别特征，同时抑制主色。
-
具体地说，我们在聚类引导的对比学习框架中从抑制颜色的角度来探索监督信息，其中，如图2所示，特定设计的数据增强（例如，彩色图像与灰度图像）的非对称视图中的样本被用来提供强监督，以在特征学习中施加不变性。通过将聚类结果集成到对比学习中，所提出的框架能够避免特征崩溃。通过抑制主色，所提出的框架能够有效地学习除颜色之外的鲁棒和辨别特征。此外，我们还提出了一种简单但有效的聚类细化方法，以提高聚类结果，从而进一步增强对比学习。
-
论文贡献
1）我们提出了一种有效的无监督框架，该框架利用聚类信息进行对比学习，同时抑制图像中的主色来学习细粒度特征。
2）我们提出了一种新的聚类级损失函数来执行视图间和视图内对比学习，该函数可以有效地利用来自不同数据增强视图的聚类级隐藏信息。
3）我们还提出了一种聚类细化方法，并验证了细化后的聚类信息对对比学习框架有很大帮助。
3. 方法
- 给定一个未标记的数据集 I = { I i } i = 1 N I=\left \{ I_{i} \right \} _{i=1}^{N} I={ Ii}i=1N，对于输入 I i ∈ I I_{i} \in I Ii∈I通过数据增强生成 I ^ i \hat{I}_{i} I^i和 I ~ i \tilde{I}_{i} I~i 输入到两个分支，如图3所示。 I ^ i = T ( I i ) \hat{I}_{i}=T \left ( I_{i} \right ) I^i=T(Ii)和 I ~ i = G ( T ′ ( I i ) ) \tilde{I}_{i}=G(T^{'} (I_{i} )) I~i=G(T′(Ii))，其中 T ( ∙ ) T(\bullet ) T(∙)和 T ′ ( ∙ ) T^{'} (\bullet ) T′(∙)表示两个不同的变换， G ( ∙ ) G(\bullet ) G(∙)表示将彩色图像转换为灰度图像的操作。为了简单起见，我们表示第一个网络分支的输出特征以及第二个网络分支输出特征为 x i x_{i} xi