第12章增强现实技术

12.1 增强现实技术概述

12.1.1 增强现实技术

增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界合成到现实世界并进行互动。

混合现实（Mixed Reality，简称MR）是虚拟现实技术的进一步发展，该技术包括了增强现实和增强虚拟，指的是介于真实世界和虚拟环境之间的一种新的可视化环境。

增强虚拟是指在虚拟三维场景中叠加现实场景信息，以增强计算机对于环境的认知能力，以虚拟场景为主，现实场景作为补充。

AR的三个特征：虚实结合、实时交互、三维注册。

虚实结合

虚实结合是指在现实环境中加入虚拟对象，可以把计算机产生的虚拟对象与用户所处的真实环境融合，做到虚中有实，实中有虚。

“虚”是指用于增强的信息，可以是指虚拟的对象，可以指真实物体的非几何信息，如标注信息、提示等。

实时交互

实时交互是指实现用户与真实世界中的虚拟信息间的自然交互。

实时是指不管用户身处何地，都能迅速识别现实世界的事物，并在设备中合成，通过传感技术将可视化信息反馈给用户。

三维注册

AR中的三维注册是指将计算机产生的虚拟物体与用户的真实场景全方位的对准。在VR中，注册是指呈现给用户的虚拟环境与用户的各种感官匹配。

AR系统实时检测用户头部位置和方向，根据这些信息确定所要添加虚拟信息在真实坐标中的位置，使得用户眼前真实景象和虚拟景象保持同步。

VR与AR特征对比

VR	AR
沉浸感（完全虚拟）	虚实结合
交互性	实时交互
想象力	三维注册

1.VR看到的场景和人物全是虚拟的，是把人的意识带入虚拟的世界。

2.AR看到的场景和人物一部分是真实，一部分是虚拟，是把虚拟的信息带入到现实世界中。

12.1.2 AR系统的基本结构

（1）场景采集系统采集真实场景，并传送给虚实合成系统。

（2）头部跟踪系统实时跟踪头部方向和位置信息，并将信息传给虚拟场景发生器。

（3）虚拟场景发生器根据这些数据确定虚拟对象在真实场景中应呈现的大小、方向和位置。

（4）虚拟图像以及在真实场景图像中的位置信息传送给虚实合成系统；

（5）经过虚实合成系统合成带有增强信息的虚实融合场景，显示在显示系统上。

12.1.3 AR与VR的联系与区别

AR与VR的相同点

1.都需要计算机生成相应的虚拟信息

2.都需要用户使用显示设备

3.都需要与虚拟信息进行实时交互

AR与VR的不同点

1.用户对沉浸感要求不同

2.对注册的意义和精度要求不同

3.对于系统计算能力要求不同

4.侧重的应用领域不同

相比于VR，AR由于技术难度大（尤其光学部分），硬件要求高，目前产品种类不多，价格昂贵，没有形成大规模量产。

	移动式VR眼镜	VR头盔与一体机	AR眼镜
产品技术含量	技术含量低	技术含量高	技术含量非常高
对硬件性能的要求	对硬件性能的要求较低，主流智能手机配置即可	对硬件性能要求很多，以高端配置的PC主机为主，GPU要求很高	对硬件性能要求很高，尤其是光学投影与图像处理部分，高端的CPU与GPU，同时需保证硬件的小巧轻便
市场产品种类数量	产品种类多，数量庞大	产品种类一般，数量稍大	产品种类极少，数量极少
价格	售价偏低（50-200美金）	售价偏高（400-800美金）	价格及其昂贵（1000-3000美金，大部分还处于开发阶段）
代表产品	三星GearVR 、暴风魔镜、乐视VR	Oculus Rift 、HTC Vive、索尼PS VR	微软HoloLens、Meta眼镜

12.1.4 全球AR四大名星

微软HoloLens：全息眼镜
Magic Leap：光场技术
Meta：双手控制3D内容
以色列Lumus：波导光学元件

12.2 增强现实核心技术

AR核心技术有三种：显示技术、三维注册技术、标定技术。

12.2.1 显示技术

头盔显示器（HMD）

头盔显示器分为视频透视式显示器和光学透视式显示器两种。

VR中的HMD将现实世界隔离，只能看到虚拟世界中的信息。

AR中的HMD将现实世界和虚拟信息两个通道的画面重叠显示给用户。

(a)视频透视式显示器

由安装在用户头盔上的摄像机摄取真实世界的图像，计算机通过对这些图像进行计算处理，将要添加的图像信号叠加在视频信号上，通过视频图像叠加器实现虚拟场景和真实场景的融合，最后显示给用户。

(b)光学透视式显示器

用户借助光学融合器部分透明，部分折射的原理完成虚实场景的融合，半透明可以直接透过融合期看到真实世界，半反射可以反射来自上方的显示器显示场景生成器生成的虚拟图像。

光学投影主要原理方案：Stereoscopic（立体光，技术难度较大，相对成熟）和Light Field （光场，技术难度很大，实验阶段）。

手持显示器

常用手持式显示器设备包括智能手机、PDA等。手持显示器易于携带，避免了佩戴头盔的不适感。

投影显示器

投影式显示是由计算机生成的虚拟信息直接投影到真实场景上进行增强。

12.2.2 三维注册技术

注册的任务：

（1）实时检测用户头部佩戴摄像头的位置和用户视线的方向。

（2）根据检测信息计算出虚拟信息在投影平面中所在的位置。

（3）将这些信息显示在用户视野的正确位置。

AR中的注册技术实质上就是跟踪和定位技术。

性能指标：

（1）精度（2）分辨率（3）响应时间（4）鲁棒性（5）跟踪范围

AR系统应该具有高精度、高分辨率、延迟小、跟踪范围大，鲁棒性好等特性。

12.2.3 标定技术

标定技术是确定摄像机的光学参数、几何参数、摄像机相对于世界坐标系的方位以及与世界坐标系的坐标转换。

世界坐标系（在视觉中的定义）：由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

标定的任务就是确定各系统相对真实世界的坐标系变换的关系。

虚实匹配的关键要确定虚拟对象的每个点在真实场景的投影坐标，核心工作就是确定个坐标系之间的转换关系。

12.3 移动增强现实技术

12.3.1 移动增强现实

移动增强现实（Mobil Augemented Reality，简称MAR）：增强现实技术在移动设备终端（如平板电脑、手机等）上的应用。

传统增强现实	移动增强现实
虚实结合	虚实结合
实时交互	实时交互
三维注册	三维注册
移动性差	自由、灵活
专业设备	普通移动终端
专业开发	网络APP下载
使用时间特定	随时使用
使用地点是实验室	随地使用

12.3.2 移动增强现实体系架构

（1）移动终端通过摄像头获取真实场景视频信息

（2）无线网络设备将获取的视频信息传送给服务器

（3）服务器根据接收到的真实场景信息，实现三维注册，根据注册结果计算虚拟对象模型的渲染参数

（4）无线网络将渲染参数传送给移动终端设备

（5）移动终端根据渲染参数进行虚拟场景的渲染绘制，并叠加到真实场景中

（6）将增强后的场景图像信息以可视化形式显示在移动终端

12.4 增强现实的开发工具

AR不是通过摄像头拍摄产生的，准确的说，AR的应用调用了摄像头。

AR的开发软件有很多，如Unity 3D、Flash、C++等。此外，AR的开发还需要借助专门的SDK（软件开发包）。常用的AR系统开发工具包有ARToolKit、Vuforia、Opencv等。

12.5 增强现实的主要应用领域

娱乐游戏领域、军事领域、教育领域、医疗领域、电子商务领域、HUD领域、产品装配领域等。

12.6 增强现实技术未来发展趋势

增强现实技术将会是未来的发展方向。

增强现实技术将会是计算机发展的最终形式。