PartialReID-----Deep Spatial Feature Reconstruction for Partial Person Re-identification: Freestyle Approach(CV18)

转:https://blog.csdn.net/weixin_36411839/article/details/81877916

问题:一张图是局部的行人图像,也就是被遮挡了的行人,另一张是一个完整的行人图像ReID

目前解决:

①将它们resize成固定尺寸的图像,然利用CNN提取用出固定长度特征向量,这种方法最明显的缺陷是会导致行人图像的形变(Deformation),严重影响reID效果。

②是滑窗匹配方法(SWM),在gal图像上设定一个和prob图像size一致的窗,然后在gal上找到与prob最相似的图像区域。但是这种方法也有不足的地方,就是在prob的尺寸大于gal的尺寸的情况下就不适用了。

③一种part-based的方法,提取出图像局部块的局部特征进行匹配,由于只能获取局部的特征信息,所以再利用SWM的方法补全全局特征信息,这种方法的效果相对来说好一些,但这种方法会导致计算量增加,因为它要反复提取子区域的特征信息blahblah

X:FCN提取局部图像得到的feature map,

Y:FCN提取gal图像得到的feature map,

X和Y分别分成N块和M块,因为X和Y的大小不一样,所以分成的块数也不一样,但是每个块的大小一样,块大小的选取后面会讨论到。d:通道数,N等于w乘h,代表宽和高,即图像水平方向分成的块数,垂直方向分成的块数。然后,对于每个Xn的小块,去寻找一个Y的线性组合来近似,这样来找到Y图像中近似的区域来重构X。

为了找到这样一个组合,论文用到这个稀疏表示方程

 

在FCN模型中,对于id的映射是通过最后一层pooling层利用熵损失来实现的,就像下面左图所示。为了进一步提高FCN提取的深度特征的辨别能力,作者用DSR来对FCN的预训练模型进行微调,框架如下面右图所示。

 首先给出损失函数,在这里需要解释一下的是这个α参数,当X和Y特征是来自同一id时,α取1,反之取-1。

然后交替执行步骤1和步骤2来最优化损失函数中的θ和W(θ是FCN网络的参数)。步骤1固定θ,优化W,这个公式其实就是前面的稀疏表示方程的一个变形。步骤二固定W优化θ,用一个标准的随机梯度下降就行了。

 

Block选取:

实验: 

第一个实验是和resizing model作比较的,也就是探讨图像形变对局部reID的影响。实验分了两个维度进行。一个是分别在Partial reID数据集和Partial iLIDS数据集上进行,另一个维度是single-shot和multi-shot,可以看出无论那种数据集或者实验设置,论文提出的DSR都比resizing model效果好很多。所以实验结果足以表明,人像的形变对识别是有非常大的影响。

 第二个为了观察block的size对效果的影响,作者分成了三种不同size的block组合,分别是单个1*1的,1*1 + 2*2组合,还有1*1 + 2*2 +3*3组合的。实验的维度和上一个实验相同,两个数据集和single-shot和multi-shot的设置,从这四个图来看,绿色线所代表的1*1 + 2*2 + 3*3组合的multi-scale block的效果是最好的。原因很简单,single-scale的block包含更多的局部信息,而multi-scale的block能够提供更多信息以使DSR对于尺度变化更加鲁棒。

第三个下一个实验是和之前state-of-the-art局部reID方法进行比较,实验结果如上表所示。效果也是很明显的,DSR的方法比此前的任何一种reID方法都更优秀。而且,multi-scale block的效果更优异

然后是计算效率对比,还是和上一个实验的那几个方法对比。SWM由于要反复提取图像中子区域的特征信息,计算也就比较大,而DSR相对比来说计算效率是最好的,而且multi-scale block相比于single-scale block的设置在计算时间上只有0.01~0.02秒的增加,但效果确能提升不少。

 最后是分析训练中利用DSR对预训练模型进行微调的效果,在前面介绍过,DSR引入到FCN模型中用来学习出更有辨识力的特征。作者在Partial reID数据集上进行了single-shot的实验。上图显示了有DSR微调的FCN模型和没有的模型,并展示了两种模型的ROC和CMC曲线,能很直观地看出,有DSR微调的模型效果优于没有的,这就表明,引入DSR进行微调能后FCN学习出更有辨识力的特征。

猜你喜欢

转载自www.cnblogs.com/ciweizailianai/p/11433051.html