学习真的是一件快乐夹杂着痛苦的事，读着很累，写着很爽，回想起来发现记不得了又很累。
这篇文章叫“用于ReID的克罗内克积的深度匹配”，主要包括了这么两个部分：基于克罗内克积的深度匹配，沙漏状的多尺度信息提取网络。这个框架主要考虑了多层的空间信息，以及匹配图片之间的相关性。
整个框架的大体思路与前面几个并没有太大的差异，也是通过将图片转化为特征向量，然后计算两个特征向量之间的相似性来比较这两张图片是否来自同一个人。但是呢，对比于之前的网络它又存在以下几点改进，首先加入了多尺寸的信息匹配，加入了基于空间的转换匹配使得相似度的计算更加的准确。
1）克罗内克积匹配过程KMP
这个模型的定义主要是为了从空间上对两个特征向量进行匹配。这种方法主要是针对于常见的卷积方法将图片向特征空间转换，包括池化过程，都改变了图片本身空间的信息。KMP通过两组特征关系对每个像素建立相关关系，同时还通过Feature warping module将特征向量进行对齐。下面结合框架图来介绍KMP：
首先图片经过特征提取，输入两个特征映射X和Y，M代表每张特征图上的像素数。X和Y中的元素都是C维的实数空间。KMC和feature warping的目标是产生一个叫 δ的特征向量描述X和Y之间的差异，然后 δ会被输入到一个距离矩阵比较两张图片的相似性。
对于X里的每个向量xi，我们希望找到一个相关特征矩阵，可以从Y映射到xi。然后令mi是M空间中的一个，他是一个大小为M的1-0矩阵，如果mi，j=1，则说明yj与xi匹配，我们用一个多项式分布Bi,j来表示这个关系：
然后特征向量
差异向量在i位置的δi也可以通过用
另外一方面，就像昨天的文章中所讲，一张图片中不同的部分对于最后的结果的影响应该是有着不同的。比如背景部分与前景部分，它们两者明显有着很大的差距。这篇文章中采用的方法是对每个像素赋予一个权重α ，α 在实数范围。随意最后整体的距离表达δ是：
上述过程是将KPM过程用公式表达出来了，下面讲讲一些参数如何求解：
关于Bi,j的计算KMP中采用的是计算每一对xi和yi的内积，然后在整个y的空间上对他进行正则化：
其中
下面给大家介绍一下克罗内克积的过程（图二中的蓝色部分），和二维的相似，上面的过程只是将第三维度为C的情况下进行的克罗内克积。它是由H*W的矩阵，卷积之后成为一个H*W*H*W的矩阵。这个过程可以用K表示：
如图中所示，每个W*H的子矩阵都可以看成一个1*C*1*1的X（i，j）与1*C*H*W的特征矩阵Y的卷积，和方程5一样，k也需要经过software normalization处理
这一步之后，我们即可通过计算Y与K之间的矩阵乘法来进行方程3的运算。这个过程可以看做是一个soft warping的过程通过改变特征图Y的形状使它在像素级与X相匹配。在warping之后，X和经过KYT计算的特征向量是对齐的（这部分结束就已经将wrapping的过程讲解完了，这部分比较独特，有兴趣的朋友可以好好琢磨）。
然后通过元素减法（图二中的红素部分）去计算X与Y在所有像素对应位置的差异 ∆。 ∆是δi的集合。
然后我们按着图二的顺序继续理解文章，我们看到图2上方有一类紫色的方框，这部分网络的作用是提取出我们前面所说的权重α。这部分的提取过程主要是包括了两个卷积组，一个batch normalization以及RelU。最后输出我们需要的权重α。然后经过空间正则化得到：
我们简单的设置
2）漏斗状多层特征提取网络与KPM的结合
我们可以看到，图四是整个文章中的系统框架，，首先是两张图片作为输入，然后经过ResNet-50提取特征，然后接下来是三个分支，每个分支对应不同尺寸的特征匹配，warping以及相似度估计。这里的特征匹配，warping就是作者上文提到的KPM系统。所以说这里的黄色方块就是对应图二中的feature map X和Y。为了慢慢将特征尺寸放大，我们在底层加入了1*1的卷积以及上采样过程用于低像素特征的提高。
over，文章主要作为本人的学习记录，有兴趣的朋友欢迎多多交流。