SLAM和AR

在我先前关于增强现实的历史（和未来）的博客中，我介绍了SLAM –同步本地化和映射。SLAM是将通过增强现实（AR）和虚拟现实（VR）实现或进一步创新的众多关键领域之一。还有其他领域，包括图形，触觉，显示，连接性，音频和人工智能（AI），但对我而言，SLAM有望成为最具变革性的领域。

那是什么 为什么SLAM承诺会如此具有变革性？首先，让我先解释一下SLAM是什么以及它是如何工作的。

定位和方向
SLAM是一系列复杂的计算和算法，它们使用传感器在未知环境中构造地图和结构，并定位设备的位置和方向。摄像头和惯性测量单元（IMU）在全球80％的智能手机中都可用，但主要是高端智能手机，如今实际上可以运行SLAM，在所有智能手机中所占的比例较小。

从技术的角度来看，SLAM本质上是一种程序，用于估计设备的位置和方向，并使用摄像机输入信号和IMU（加速度计和陀螺仪）读数建立环境图。能够确定未知环境中设备的准确位置，为开发人员创建新的用例和应用程序带来了很多机会。

SLAM如何运作
那么，SLAM确定的位置在当今的智能手机上如何工作？如果您看下面的图片，智能手机通过收集来自IMU传感器的数据并处理来自单眼相机的视频来构建有关环境的信息。

智能手机SLAM

IMU提供有关智能手机实际运动的信息，但不幸的是，其准确性不足以仅依靠其读数。通过将其与提供有关环境的有价值信息的相机馈送相结合，可以克服此限制。相机源用于检测当前帧中的“ 2D特征点”，然后尝试将它们与前一帧中找到的点相关联。这些点可能在帧与帧之间的不同位置找到，这就是算法的本质。基于这些相对点和IMU读数，该算法可以精确到厘米范围计算出设备的3D位置和方向。

IMU的工作频率高于摄像头，这有助于补偿突然的摄像头移动，否则会产生模糊的图像。SLAM的神奇之处在于，通过将IMU与摄像机馈送结合使用，其精度要高于分别与摄像机和IMU相关联的精度。

结果，SLAM算法管道还提供了系统一直在跟踪的2D特征点的3D位置。这组3D点称为“点云”。上述管道还可以提供“稀疏点云”，然后我们可以使用它来从环境中提取平面。显然，细节在于魔鬼，它比我所描述的要复杂得多，但这实质上就是“稀疏SLAM”的工作原理。

稀疏SLAM花盆点云

通过准确掌握SLAM提供的设备的位置和方向并了解相机参数，可以将3D虚拟对象渲染为“它们在那里”，从而在相机源上方渲染3D虚拟对象。这允许通过虚拟对象和功能来增强实际环境。如下图所示，虚拟花盆呈现在真实花盆的顶部。当用户在房间中四处移动时，虚拟木锅会准确地保留在其最初放置的位置。这可以为零售提供许多方便的用例，例如，消费者可以使用SLAM通过虚拟仿真来确定木锅是否会是一个不错的选择。

虚拟花盆SLAM

“稀疏SLAM”到“密集SLAM”
上面描述的功能都是“稀疏SLAM”的一部分，但展望未来，制图可能会演变为“密集SLAM”，而简单的平面将朝着真实世界的更精确的几何表示方式发展。我认为，这是AR真正乐趣的开始，因为开发人员不仅可以混合，还可以针对虚拟环境修改现实环境。例如，如下图所示，用户可以用由砖制成的虚拟墙代替真实墙。还有许多其他将现实世界与虚拟环境融合在一起的示例，例如从环境中裁剪出真实物体，并用不同形状的虚拟物体替代它们。游戏创新也具有巨大的潜力-想象一下，看到僵尸砸倒一堵真实的墙壁，然后冒出来！可怕的是

密集SLAM花盆

展望未来，SLAM的最终目标是在真实环境中渲染虚拟对象，因此没人能分辨出真实和虚拟。这不是一朝一夕的事情，但可能是AR和VR行业工作人员的长期未来目标。

如今，稀疏和密集SLAM在技术上都是可行的，但是稀疏SLAM更为常见。当前，稀疏SLAM是基于单眼RGB相机和IMU传感器的当今高端智能手机中存在的一种方法。而Dense SLAM可以在更多的AR专用设备中找到，例如HoloLens，它具有四个用于跟踪用户位置的摄像机，飞行时间传感器和IMU传感器。密集SLAM可能是未来，因为这将带来最终的AR体验。但是，并非在一夜之间就在所有AR设备中启用它，因此从稀疏到密集SLAM的采用将是一次有趣的旅程。

SLAM方法的复杂性

未来用例
SLAM的重点是移动设备。但是，该技术不仅适用于移动设备，因为它将跨越许多不同的设备，例如汽车，机器人，智能手机，VR头戴式耳机，笔记本电脑等。所有这些设备对于SLAM都需要不同的输入变化，因此存在将来可能会出现大量不同的SLAM解决方案。

确实，SLAM可能在企业和消费者的许多激动人心的用例（例如导航，广告和游戏）中发挥关键作用。在我的下一篇关于SLAM的博客中，我将更详细地探讨这些潜在的用例，并重点介绍它如何成为全球用户真正的变革技术。