Parallel Tracking and Mapping ona Camera Phone
概要
相机手机是手持增强现实的有前景的平台。 随着计算资源的增长，它们越来越适合视觉跟踪任务。 同时，他们仍然面临相当大的挑战：他们的相机提供了一个狭窄的视野，不是最适合于强大的追踪;图像通常在小于15Hz时被接收; 长曝光时间会导致明显的运动模糊; 最后，滚动快门会引起严重的拖尾效应。 本文介绍了在相机手机（特别是AppleiPhone 3G）上实现基于关键帧的SLAM系统的尝试。 我们描述了对并行跟踪和映射系统的一系列调整，以减轻设备成像缺陷的影响。 早期的结果证明了一种能够生成和扩充小地图的系统，尽管与PC上的SLAM相比，精度降低和鲁棒性降低
1引言
现代手机已成为移动增强现实的引人注目的平台。 它们包含视频通常需要的所有设备 - 通过AR：具有图形加速度的计算机，相机和显示器。 尽管手机上的计算能力仍然远远落后于台式电脑，但一些研究人员已经表明，执行实时视觉跟踪就足够了[8,10,14,15]。 特别是，我们受到[15]的鼓励：瓦格纳等人 证明通过认真适应，改进和组合已建立的方法，手机能够提取FAST角色，检测SIFT /蕨类特征，计算相机姿态，并以交互式帧速率渲染增强图形。 作者在已知的平面目标上展示了它们的结果，但是没有什么理由怀疑该方法可以扩展到更大的适当纹理的3D场景 - 只要先验地图可用。
在本文中，我们考虑在以前未知的环境中跟踪手机位置的任务。特别是，我们试图在AppleiPhone 3G上实现一个基于关键帧的SLAM系统。以前在PC上基于关键帧的PTAM系统[6,7]的经验表明，它能够生成房间尺寸的地图并跟踪移动摄像机，同时（至关重要地）为快速运动提供了高水平的鲁棒性，较差的成像条件和不可避免的数据关联失败。我们把这个系统作为起点。iPhone被选为当代一代相机配备的智能手机。其他设备可能具有更快的CPU和相机，但是iPhone的外形和广泛的部署使其成为AR应用程序的有趣平台。
作为PTAM的平台，iPhone提供了两个主要挑战。缺乏处理能力是显而易见的，特别是当PC上的PTAM将其强大的一部分从一些有力的强制性方法导出到映射时尤为重要。第二个（也许更有趣）的挑战来自于设备的相机，其三种方式与通常用于SLAM的相机不同。它以低（<15Hz）帧速率工作;它有一个滚动快门;最重要的是它具有狭窄的视野。这些效果中的每一个都将是有问题的，但是当所有这三种都存在时，它们会相互加强，并谋杀以产生不适合3D重建的视频图像。
在对第2部分相关移动跟踪工作进行简要回顾之后，本文介绍了一系列对PTAM算法的改变，可以减轻上述影像和处理的局限性。 在第3-6节中描述的贡献中，是自动立体声初始化，特征检测，滚动快门补偿和地图修剪的新策略。 初步结果在第7节中介绍，显示iPhone上的PTAM能够创建和跟踪小地图。 第8节介绍了未来工作的结论和可能的领域。
2相关工作
除了[15]的自然特征跟踪系统，基于标记的系统也在手机上得到证明。 最近一个尝试减少由物理标记占据的面积的例子是[14]，但移动标记跟踪的演示可以追溯到[16]，其中在PDA上检测到ARToolkit标记，[8]发现自己的标记 早期的相机手机。 （今天的FPU，OpenGL加速和更快的CPU大大减少了在手机上开发AR系统所需的工程工作量。）在[10]中演示了一种标记/纹理混合系统，其中通过添加一个已知的地图纹理来跟踪 网格黑点到地图。