NFormer: Robust Person Re-identification with Neighbor Transformer

2022CVPR的NFormer论文，代码

研究内容

• 研究动机： 行人重识别具有判别行鲁棒的表示学习是关键的，但是很多研究者考虑从的单个图像中学习表示，忽略了图像之间的交互。然而，由于身份内的高度变化，忽略这种交互通常会导致异常特征。
• 解决方法：提出了NFromer网络，显示地对所有输入图像上的交互进行建模，从而抑制异常值特征并导致总体上更稳健的表示。由于建模大量图像之间的交互是一项具有大量干扰因素的艰巨任务，NFormer引入了两个新模块，即Landmark Agent Attention和Reciprocal Neighbor Softmax。
  • the Landmark Agent Attention (LAA)通过在特征空间中使用少量Landmarks的低秩因子分解来有效地对图像之间的关系图进行建模.
  • Reciprocal Neighbor Softmax （RNS）实现了对相关邻居的稀疏关注，而不是仅关注所有邻居，这减轻了不相关表示的干扰，并进一步减轻了计算负担。

研究背景

• Re-ID的主要挑战之一是，任何一个人都会因为外在因素（如不同的相机设置、灯光、视角、遮挡）或内在因素（如换衣