转载：https://blog.csdn.net/VacantField/article/details/79801925
这是CVPR 2018上的论文，论文针对局部行人再识别提出一种更高效率高准确率的方法，中文直译深度空域特征重建，Deep Spatial Feature
摘要：
局部行人再识别是一个很有现实意义的挑战。所谓局部是指，在无约束环境中，行人容易被遮挡，有姿势和视角变化，所以有时只有局部的行人图像可用于识别。下面这些都是被遮挡的行人图像的例子，其中遮挡物有物体或者其他行人。
本文针对partial reID提出的一种简称叫DSR的方法。这种方法针对的图像特点是一张图是局部的行人图像，也就是被遮挡了的行人，另一张是一个完整的行人图像（这是论文一切方法和实验的大前提）。方法利用全卷积网络分别提取出特征图，然后用深度空域特征重建分析其相似度
本论文主要贡献有如下三方面。
1.提出了一种新的不需要行人图像对齐且对输入图像大小没有尺寸约束的局部reID方法。
2.论文将稀疏重建学习和深度学习融合在一个统一的框架中，并通过最小化同一id的行人图像的重构误差、最大化不同id的重建误差来训练端到端深度模型。
3.通过丰富的实验验证了方法优秀的准确度和效率。
在此之前针对局部Re-id的解决方案主要有如下三种。（Related work）
1.第一种是将它们将图像resize成固定尺寸的图像，然利用CNN提取用出固定长度特征向量，这种方法最明显的缺陷是会导致行人图像的形变（Deformation），严重影响reID效果。
2.第二种方案代表的方法是滑窗匹配方法（SWM），在gal图像上设定一个和prob图像size一致的窗，然后在gal上找到与prob最相似的图像区域。但是这种方法也有不足的地方，就是在prob的尺寸大于gal的尺寸的情况下就不适用了。
3.第三种方案是一种part-based的方法，提取出图像局部块的局部特征进行匹配，由于只能获取局部的特征信息，所以再利用SWM的方法补全全局特征信息，这种方法的效果相对来说好一些，但这种方法会导致计算量增加，因为它要反复提取子区域的特征信息blahblah。
所以作者针对上述问题提出了一种新的局部Re-id方案，看到这个流程图，首先分别用FCN提取出两张图像的特征映射，然后再用深度空域特征重建进行学习匹配。
论文的全卷积网络如上图所示，共13个卷积层和5个pooling层，注意全卷积网络是没有后全连接层的，最后一个pooling层产生id特征映射。采用FCN的好处是FCN能保留空间坐标信息，而且能够从任意大小的输入中提取空间特征图。
然后是论文最核心的DSR方法，X是FCN提取prob图像得到的feature map，Y是FCN提取gal图像得到的feature map，X和Y分别分成N块和M块，因为X和Y的大小不一样，所以分成的块数也不一样，但是每个块的大小一样，块大小的选取后面会讨论到。这里的d是通道数，N等于w乘h，代表宽和高，即图像水平方向分成的块数，垂直方向分成的块数。然后，对于每个Xn的小块，去寻找一个Y的线性组合来近似，这样来找到Y图像中近似的区域来重构X。
为了找到这样一个组合，论文用到这个稀疏表示方程。方程的前一部分是求解关于Y的xn的稀疏系数wn，因为Y中只有少数块是需要用来重构X的，所以我们需要L1范数来约束稀疏系数wn。而这个权重β，论文设定的是0.4（why？）。最后求得所有wn之后，我们将会得到稀疏重建参数矩阵W。
在FCN模型中，对于id的映射是通过最后一层pooling层利用熵损失来实现的，就像下面左图所示。为了进一步提高FCN提取的深度特征的辨别能力，作者用DSR来对FCN的预训练模型进行微调，框架如下面右图所示。
首先给出损失函数，在这里需要解释一下的是这个α参数，当X和Y特征是来自同一id时，α取1，反之取-1。然后交替执行步骤1和步骤2来最优化损失函数中的θ和W（θ是FCN网络的参数）。步骤1固定θ，优化W，这个公式其实就是前面的稀疏表示方程的一个变形。步骤二固定W优化θ，用一个标准的随机梯度下降就行了。
之间讲到的block大小的选取问题，为了使得DSR对尺度变化更鲁棒，论文采用三种不同尺寸的block组合，分别是1*1,2*2,3*3的block size。在后面的实验会比较单尺寸block和多尺寸block的效果。
实验部分。实验目的有如下几个：1.首先是形变对结果的影响，也就是跟resizing model的方法进行比较。2.多尺寸block和单尺寸block的比较。3.和其他state-of-the-art局部re-id方法效果比较。4.时间效率分析。5.用DSR对与FCN训练模型微调的效果分析。对于每个实验，作者都分了single-shot和multi-shot来分别进行实验。
第一个实验是和resizing model作比较的，也就是探讨图像形变对局部reID的影响。实验分了两个维度进行。一个是分别在Partial reID数据集和Partial iLIDS数据集上进行，另一个维度是single-shot和multi-shot，可以看出无论那种数据集或者实验设置，论文提出的DSR都比resizing model效果好很多。所以实验结果足以表明，人像的形变对识别是有非常大的影响。
为了观察block的size对效果的影响，作者分成了三种不同size的block组合，分别是单个1*1的，1*1 + 2*2组合，还有1*1 + 2*2 +3*3组合的。实验的维度和上一个实验相同，两个数据集和single-shot和multi-shot的设置，从这四个图来看，绿色线所代表的1*1 + 2*2 + 3*3组合的multi-scale block的效果是最好的。原因很简单，single-scale的block包含更多的局部信息，而multi-scale的block能够提供更多信息以使DSR对于尺度变化更加鲁棒。
下一个实验是和之前state-of-the-art局部reID方法进行比较，实验结果如上表所示。效果也是很明显的，DSR的方法比此前的任何一种reID方法都更优秀。而且，multi-scale block的效果更优异。
然后是计算效率对比，还是和上一个实验的那几个方法对比。SWM由于要反复提取图像中子区域的特征信息，计算也就比较大，而DSR相对比来说计算效率是最好的，而且multi-scale block相比于single-scale block的设置在计算时间上只有0.01~0.02秒的增加，但效果确能提升不少。
最后是分析训练中利用DSR对预训练模型进行微调的效果，在前面介绍过，DSR引入到FCN模型中用来学习出更有辨识力的特征。作者在Partial reID数据集上进行了single-shot的实验。上图显示了有DSR微调的FCN模型和没有的模型，并展示了两种模型的ROC和CMC曲线，能很直观地看出，有DSR微调的模型效果优于没有的，这就表明，引入DSR进行微调能后FCN学习出更有辨识力的特征。
总结一下。论文提出了一种全新的不需要行人对齐解决局部ReID的方案，深度空域特征重建。并且将DSR嵌入到FCN中去学习辨别能力更高的特征。最后通过丰富全面的实验验证了这种方法的高效性和准确性。