第二十三周学习笔记
论文阅读《SuperPoint:Self-Supervised Interest Point Detection and Description》
名词解释
- SLAM(Simultaneous Localization and Mapping)，同步定位与建图，机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航
- SfM(Structure-from-Motion)，运动恢复结构，在计算机视觉指的是，通过分析物体的运动得到三维结构信息的过程。
- semantic segmentation
摘要
本文提出了一个自监督的框架来训练关键点检测器和适合多视角几何问题的特征描述子。
引言
通过卷积神经网络训练有监督的关键点检测模型时，对关键点概念的定义是模糊的，因此使用强监督方法训练卷积神经网络是困难的。
本文提出了一个通过自训练的自监督模型，创建了一个大的pseudo-ground truth的数据集，通过关键点检测器进行监督而非人工标注。
(a)为了生成pseudo-ground truth关键点，我们首先在几百万张合成数据集（由一些简单的几何形状及其关键点组成）中训练了一个全卷积神经网络，这个训练好的检测器称为MagicPoint，它
- 在合成数据集上表现比传统方法更好
- 尽管存在邻域适应困难，在真实图像中表现中也很好
- 但与经典的特征点检测器在各类不同的数据集上的表现相比，遗漏了一些关键点
(b)为了弥补上述的第三个问题，本文提出了一个multi-scale,multi-transform技术——Homographic Adaptation（后文简称为HA），HA是为了提高自监督关键点检测器的表现。它多次wrap输入图像来帮助特征点检测器来从多角度和尺度（scale）来理解图像。我们结合HA和MagicPoint来提高检测器的表现并生成pseudoo-ground truth关键点，得到易于可复现的和抗干扰强的检测器（称为SuperPoint）。
©最后将Superpoint与描述子子网络结合，以通过描述子得到更鲁棒和可重复的关键点检测器
结论
通过实验，我们得出
- 将合成数据集的知识迁移到真实图像上是可能的
- 稀疏的关键点检测和描述可以由简单高效的卷积神经网络来解决
- 整个系统在集合计算机视觉匹配任务上表现很好
未来的工作
- 研究HA是否能提高一些语义分割和目标检测模型的表现