XR の最も重要な問題の 1 つはポジショニングです.XR ヘッドセットの位置と角度を現実世界で特定するために、メーカーは機械センサー、慣性センサー、磁気センサー、音響センサーなどのさまざまなソリューションを採用してきました。等々。これらの測位方法には共通の問題があります。つまり、センサーは完全ではなく、ノイズが発生します。
たとえば、ジャイロスコープにアクセスして角速度を測定したり、加速度計にアクセスして直線加速度を測定したり、場合によっては磁力計にアクセスしたりする IMU を考えてみましょう。理論的には、IMU の測定値が完璧であれば、AR/VR ヘッドセットの空間位置を特定するための完全なデータが提供されるはずです。ただし、IMU の測定誤差は通常数百メートルに達する可能性があり、これは理想的ではありません。その不正確さに対抗するために、AR/VR ヘッドセットは複数のセンサーを組み合わせ、インテリジェントな融合アルゴリズムを使用してより正確なポーズを導き出します。
オープンソースの VI-SLAM ソリューション
近年、カメラと IMU ユニットに基づく視覚的慣性測位 (VI) が XR で広く使用されています. たとえば、WMR ヘッドセットは 2 つ以上のポジショニング カメラを使用しますが、Quest などの VR オールインワン マシンは通常 4 つまたはそれ以上のカメラを使用します。より多くのカメラ、インデックスなどのPC VRも複数のカメラを搭載。VIポジショニングソリューションは、周囲のシーンを光学的にキャプチャしてデバイスのポジショニングを実現します.その利点は、センサーがヘッドディスプレイに統合されており、外部ベースステーションが不要であるため、セットアップが容易になることです.
ただし、光学 6DoF 測位は通常、XR ヘッドセット専用であり、さまざまなメーカーが独自に光学測位アルゴリズムを開発する必要があり、直接使用できる既製の光学 6DoF 測位ソリューションはありません。一部の新興 XR メーカーは、特別なライセンスを取得しないと、光学 6DoF アルゴリズムと開発経験を取得することが困難です。
そのため、Collabora のコンサルタント ソフトウェア エンジニアである Mateo de Mayo は、モバイル端末や PC 端末で AR/VR アプリケーションを実行できる、OpenXR に基づくオープン ソースの XR ランタイムを特徴とするオープン ソースの Vi-SLAM 光学測位ソリューションである Monado を開発しました。 AR/VR ヘッドセットのカメラを通して Inside-Out 6DoF ポジショニングを実現します。
据悉，Vi-SLAM是视觉惯性方案与SLAM的结合，使用了快速的IMU样本（200Hz）和慢速的相机图像捕捉（20Hz），其中IMU主要用于测量头显的内部运动，而相机则用于捕捉环境变化，以校正IMU测量数据。而SLAM则负责从初始姿态扫描场景，并实时创建地图，进行定位。通常，VI-SLAM地图由场景中的地标组成，通过三角测量法来定位。
视觉惯性定位好处是比纯SLAM方案速度更快，虽然准确性有所牺牲，但随着过去几十年技术发展，其性能、稳定性、准确性、应用场景、易用性都在提升，几乎每年都会出现新迭代的版本。
Monado驱动程序此前仅兼容RealSense和WMR定位方案，在结合上述SLAM/VIO方案后，可兼容更多头显定位系统，包括North Star、Valve Index、WMR、PS VR、HTC Vive Pro等等，还兼容Intel实感相机定位。
https://v.qq.com/txp/iframe/player.html?vid=g33704781k6
除了Inside-Out定位外，Monado还可以为AR/VR头显带来VST透视功能，以及手势识别功能。
原理方面，Monado结合AR/VR头显的摄像头和IMU数据来实现6DoF定位，此外它还结合了三种开源的SLAM/VIO解决方案：Kimera-VIO、ORB-SLAM3和Basalt。利用这三种SLAM/VIO方案，摄像头驱动的支持。
Monado和OpenXR
Monado项目获得了Collabora支持，基于OpenXR标准，可为常见AR/VR硬件提供多种用于追踪定位的工具和驱动，后来在去年5月，在Collabora实习的Mateo de Mayo将Monado与SLAM/VIO方案集成，实现了视觉惯性定位功能。
de Mayo曾测试三种SLAM/VIO系统，其中Kimera-VIO兼容配备单摄或双摄定位、IMU的头显，而ORB-SLAM3几乎兼容任何传感器方案，不管是无IMU的纯单目SLAM，还是全立体IMU-LSMA，不过该方案依赖于预先记录的数据。相比之下，第三个系统Basalt是其中速度最快的，可以更好的满足AR/VR对于实时定位的需求。此外，Basalt的源代码整体比较适合软件开发流程，有大量文档支持。
多亏了Basalt模块，现在Monado可以在Linux上的一个完全开源的软件堆栈上跟踪OpenXR应用程序。
设备集成
为了将SLAM/VIO与Monado集成，开发者需要创建足够灵活的SLAM定位接口，目的是允许每个SDK将输入和输出管道开放给Monado进行定位。
Monado中的中央SLAM定位器可读取AR/VR头显的摄像头、IMU数据，同时也兼容RealSense D455深度感知相机模组。RealSense D455特点是支持3D传感，可测量场景深度，可以很好的定位。Sense D455不仅打在了RGB摄像头，也搭载了IMU来改善移动时深度感知效果。
此外，de Mayo还与WMR驱动程序开发者合作，为其扩展对SLAM定位的支持。现阶段，WMR定位效果不如RealSense驱动好，而且Monado还是一个开源方案，未来经过更多迭代后，可能会更好的商品化。参考：Collabora