实验要在HoloLens 2上做仿真,HoloLens的SLAM做得很好,它的SLAM过程中是没有用深度相机的,完全依靠左右两侧的4个鱼眼相机,深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样,分两个阶段,先是把场景里3D点的位置确定出来,后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。
文章目录
一、平台环境
1、PC环境
- 系统版本:Windows 10 SDK 10.0.18362.0
- Visual Studio 版本 :Visual Studio 2019 16.11.18
- MRTK版本:2.7
- Unity版本:2019.3.11
- 开发者模式
2、HoloLens 2环境
- 开发者模式
- 打开研究者模式(Research mode)
二、工程展开
1、下载工程
在GitHub官方例程下载数据
2、解压文件
Docs
是指南,Samples
是代码示例
3、生成文件
HoloLens2ForCV-main -> Samples -> SensorVisualization找到SensorVisualization.sln
文件,选择 Debug模式和ARM64的架构,然后生成(Build)
4、通过 USB 构建和部署,请选择设备(Device)
5、调试程序开始部署
在HoloLens 2上启动 SensorVisualization 应用,显示可视化传感器
三、总结
这个示例是一个全息UWP应用程序,演示了在设备上实时可视化传感器流。它显示了来自两个前头部跟踪摄像头的帧的可视化,深度和AB帧的深度摄像头,以及IMU加速度的可视化为3d坐标系的长度。