【slam-2020-01-02】扩展应用

一、VR+AR

1、VR和AR的关系

AR、MR是平台，覆盖面比VR更广，VR是一种媒体形式，任何用得到媒体的场景，如娱乐、教育等，都会有VR的影子。

2、VR、AR和slam的关系

VR\AR和slam的结合，主要是需要slam进行投影定位，让他们不会发生不必要的晃动，更进一步，需要在现实生活中实现叠加定位，比如藏在真实的桌子后面， 才能更有真实感，也才能让看的人不出戏。

3、目前的发展应用

SLAM目前最先进的开源方案，feature-based 的ORBSLAM作者Raul Mur-Artal，还是直接法DSO作者Jakob Engel以及其他一些SLAM方向重要实验室的毕业生很多都选择了加入facebook 的reality lab 从事oculus VR 设备的研发，间接看出目前VSLAM最适合的应用场景是VR/AR。

VR

• 贝壳 | 如视
  100平米，从数据采集（专业设备）到上传云服务器进行三维重建90分钟。
• 58同城+安居客 | 临感
  采用的双目立体视觉系统和激光点云技术。一般设备采集10分钟，自动识别墙角，按序列连接墙角，400+层神经网络训练。
  目前用户体验安居客 > 贝壳，在3D建模上，前者切换更顺滑。

AR

• 虚拟展示
  • 宜家和苹果合作，把虚拟的家具放在家里的某个位置上看效果，随着镜头的移动可以保持家具的相对位置不变。
  • 京东和华为合作尝试实景购物，模拟冰箱、洗衣机等电器。
    比如：看到洗衣机内部清晰的构造。打开冰箱，里面的食物热量、保质期等详细信息介绍以实体图像显示在眼前。
  • 车展、 舞台背景（最近几年晚会经常出现的虚拟动漫人物和歌手一起舞蹈。）
• 虚拟试装
  • 换衣需要物体三维重建，（检测运动速度，呈现裙子旋转效果）。
  • 换发型、化妆（口红一哥李佳琦给嘴唇买保险）。
• 室外导航
  • 商汤、OPPO、高德地图合作推出AR步行导航，递增地创建周围环境的地图，同时利用创建的地图实现自主定位。用户只需看着屏幕中的虚拟形象，不必进一步翻译地图，
• 商汤senseAR生态圈
  • 手机端：室外步行导航、特效拍照
  • 文娱：通过视觉+表情识别，渲染娱乐效果（主要用于小视频、综艺）

二、语义和slam

1、语义帮助slam

有物体识别的语义信息，构建带有标签的地图，可为回环检测、BA优化带来便利。

BA(bundle adjustment)指的是同时调整相机姿态和特征点位置，以便从每个特征点反射出的光线(bundles of light rays)，通过调整(adjustment)最后都能通过相机光心。故也有人翻译为光束平差法。BA通常构建为一个最小二乘问题，通过使重投影误差最小化来同时调整相机的位姿和特征点的坐标。

• 语义信息用于特征选择，提升置信度
  利用语义分割结果对显著性图进行filter，即重新调整每个像素点的显著性得分，目的是降低无信息区域的显著性得分，例如墙，天花板和地板等，帮助识别弱纹理。
• 用于动态slam，根据静态点进行跟踪
  通过目标检测去除动态点，但是为了使得目标检测线程和slam线程同步，无需对每一帧进行检测，只在关键帧进行检测，然后通过特征匹配和扩展影响区域的形式进行运动概率的传播，然后在slam过程中去除动态点的影响，只利用静态点进行跟踪。
• 语义SLAM/语义地图，研究现状不太好，待研究的点有很多
  最简单的方式就是分两步，先语义分割，然后加上slam层，也就是概率加持，代码已开源。

2、slam帮助语义

• 引入先验信息，比如用CRF对地图做一下diffusion，进一步提升准确率。
• 帮助采集数据
  根据位置，角度生成精确的标注样本数据，训练多角度实体分类模型，帮助标注人员节省时间。

三、主slam定位：GPS 失效的大型室内场所定位

定位导航：机场、商场等大型室内公共场所，GPS失效的情况下，可以防孩子走丢；商场导购或者商场内店家定位；