基于密集语义对齐的行人重识别模型:有效解决语义不对齐-CVPR2019
创新点和方法
-
语义空间映射:受Densepose启发,它可以预测行人像素级别的细粒度语义。但是它的姿态模型只有几个粗糙关节点。文章提出了一个密集映射模型。将一个3D人体模型的表面分成24个语义区域。每个区域用坐标(u,v)表示。根据UV坐标系中估计的语义值使原始输入图片在UV空间中被变形成拥有24个密集语义局部对齐的图片。
-
联合学习框架:提出一个新框架,充分利用丰富的语义对齐表示行人再识别任务。两路联合学习框架(MF-Stream和DSAG-Stream),前者是主全流,后者是密集语义对齐指导流。前者从原始图像中提取有判别力的特征表达,后者用于处理映射得到的密集语义对齐的局部语义部件图像,并进行分层语义融合。最后通过对两路特征element-wise add融合并在融合后的特征上加上监督(分类损失和三元组损失)的设计,实现两路的交互学习。DSAG-Stream起到引导主路MF-Stream学习语义对齐的特征的作用。
试验结果(数据集,方法对比,提升)
-
在Market1501数据集上进行试验。
框架有效性验证:(RE:随机擦除数据增广技术 LS:标签平滑技术 两分支设计)在此基础上提出baseline、baseline(RE)、baseline(RE+LS)、baseline(两分支)
baseline模型:(baseline两分支)
DSAG-Stream的引入极大地提升行人重实别性能。另外细粒度对齐与粗粒度对齐都对特征学习有帮助,细粒度效果更好。 -
和其他方法比较,文章提出的方法在多个基准数据集上实现了state-of-art性能。在CUHK03数据集上精度提高非常明显。
链接
基递归级联网络:基于无监督学习的医学图像配准-ICCV2019
创新点和方法
通过深度递归级联结构实现渐进式对齐的无监督端到端学习。
运动图像通过每个子网络的预测流场依次变形,最后与固定图像对齐,此过程是递归的,每个子网络都学习对当前的变形图像的渐进式配准。它的优化目标只有最后两张图像的相似度,从而赋予了所有子网络共同学习渐进式配准的能力。可导的变形操作使得整个端到端系统在无监督的情况下共同训练称为可能。在递归结构的基础上,文章提出了一种附加的shared weight级联技术,可以在测试中直接增加递归深度并提高准确率。
试验结果(数据集,方法对比,提升)
使用Dice和关键点距离两种评估指标进行了广泛的试验,并在多个数据集上进行了算法评测,包括肝脏CT图像和脑MRI图像。
与传统算法以及基础网络相比,递归级联网络在所有数据集中的Dice和关键点距离均显著优于现有方法。
关于不同数量级联的效果,随着级联数量的增加,模型的表现呈上升趋势。