Um dos problemas mais críticos do XR é o posicionamento. Para localizar a posição e o ângulo do fone de ouvido XR no mundo real, os fabricantes adotaram uma variedade de soluções, como sensores mecânicos, sensores inerciais, sensores magnéticos, sensores acústicos, e assim por diante. Esses métodos de posicionamento possuem um problema comum, ou seja, o sensor não é perfeito e irá gerar ruído.
Pegue uma IMU, por exemplo, que acessa um giroscópio para medir a velocidade angular, um acelerômetro para medir a aceleração linear e possivelmente um magnetômetro. Em teoria, se as medições da IMU forem perfeitas, elas devem fornecer dados completos para localizar a posição espacial do headset AR/VR. No entanto, o erro de medição da IMU costuma chegar a centenas de metros, o que não é o ideal. Para neutralizar sua imprecisão, os headsets AR/VR combinam vários sensores e usam algoritmos de fusão inteligentes para obter uma pose mais precisa.
Solução VI-SLAM de código aberto
Nos últimos anos, o posicionamento inercial visual (VI) baseado em câmeras e unidades IMU tem sido amplamente utilizado em XR. Por exemplo, os headsets WMR usam duas ou mais câmeras de posicionamento, enquanto as máquinas multifuncionais VR, como a Quest, geralmente usam quatro ou mais câmeras. , O PC VR, como o Index, também é equipado com várias câmeras. A solução de posicionamento VI captura as cenas circundantes opticamente para obter o posicionamento do dispositivo.Sua vantagem é que o sensor está integrado no head display e nenhuma estação base externa é necessária, facilitando a configuração.
No entanto, o posicionamento óptico 6DoF geralmente é exclusivo dos headsets XR. Diferentes fabricantes precisam desenvolver algoritmos de posicionamento óptico de forma independente. Não existe uma solução de posicionamento óptico 6DoF pronta que possa ser usada diretamente. É difícil para alguns fabricantes iniciantes de XR obter algoritmos ópticos 6DoF e experiência de desenvolvimento se não obtiverem licenças especiais.
Portanto, o engenheiro de software consultor da Collabora, Mateo de Mayo, desenvolveu uma solução de posicionamento óptico Vi-SLAM de código aberto: Monado, que se caracteriza pelo XR runtime de código aberto baseado em OpenXR, que pode executar aplicativos AR/VR em terminais móveis e terminais de PC. realize o posicionamento Inside-Out 6DoF através da câmera do headset AR/VR.
据悉，Vi-SLAM是视觉惯性方案与SLAM的结合，使用了快速的IMU样本（200Hz）和慢速的相机图像捕捉（20Hz），其中IMU主要用于测量头显的内部运动，而相机则用于捕捉环境变化，以校正IMU测量数据。而SLAM则负责从初始姿态扫描场景，并实时创建地图，进行定位。通常，VI-SLAM地图由场景中的地标组成，通过三角测量法来定位。
视觉惯性定位好处是比纯SLAM方案速度更快，虽然准确性有所牺牲，但随着过去几十年技术发展，其性能、稳定性、准确性、应用场景、易用性都在提升，几乎每年都会出现新迭代的版本。
Monado驱动程序此前仅兼容RealSense和WMR定位方案，在结合上述SLAM/VIO方案后，可兼容更多头显定位系统，包括North Star、Valve Index、WMR、PS VR、HTC Vive Pro等等，还兼容Intel实感相机定位。
https://v.qq.com/txp/iframe/player.html?vid=g33704781k6
除了Inside-Out定位外，Monado还可以为AR/VR头显带来VST透视功能，以及手势识别功能。
原理方面，Monado结合AR/VR头显的摄像头和IMU数据来实现6DoF定位，此外它还结合了三种开源的SLAM/VIO解决方案：Kimera-VIO、ORB-SLAM3和Basalt。利用这三种SLAM/VIO方案，摄像头驱动的支持。
Monado和OpenXR
Monado项目获得了Collabora支持，基于OpenXR标准，可为常见AR/VR硬件提供多种用于追踪定位的工具和驱动，后来在去年5月，在Collabora实习的Mateo de Mayo将Monado与SLAM/VIO方案集成，实现了视觉惯性定位功能。
de Mayo曾测试三种SLAM/VIO系统，其中Kimera-VIO兼容配备单摄或双摄定位、IMU的头显，而ORB-SLAM3几乎兼容任何传感器方案，不管是无IMU的纯单目SLAM，还是全立体IMU-LSMA，不过该方案依赖于预先记录的数据。相比之下，第三个系统Basalt是其中速度最快的，可以更好的满足AR/VR对于实时定位的需求。此外，Basalt的源代码整体比较适合软件开发流程，有大量文档支持。
多亏了Basalt模块，现在Monado可以在Linux上的一个完全开源的软件堆栈上跟踪OpenXR应用程序。
设备集成
为了将SLAM/VIO与Monado集成，开发者需要创建足够灵活的SLAM定位接口，目的是允许每个SDK将输入和输出管道开放给Monado进行定位。
Monado中的中央SLAM定位器可读取AR/VR头显的摄像头、IMU数据，同时也兼容RealSense D455深度感知相机模组。RealSense D455特点是支持3D传感，可测量场景深度，可以很好的定位。Sense D455不仅打在了RGB摄像头，也搭载了IMU来改善移动时深度感知效果。
此外，de Mayo还与WMR驱动程序开发者合作，为其扩展对SLAM定位的支持。现阶段，WMR定位效果不如RealSense驱动好，而且Monado还是一个开源方案，未来经过更多迭代后，可能会更好的商品化。参考：Collabora