版权信息
书名：VR虚拟现实与AR增强现实的技术原理与商业应用
作者：苏凯,赵苏砚
出版社：人民邮电出版社
出版时间：2017-03
ISBN：9787115447722
VR和AR的理念
通过影响你的感觉建立虚拟世界。
我们对世界的认知来源于我们的知觉，而知觉是各种感觉的结合。感觉可以分为以下两大类。
外部感觉
①视觉（视觉的感官是眼睛）
②听觉（听觉的感官是耳朵）
③嗅觉（嗅觉的感官是鼻子）
④味觉（味觉的感官是舌头）
⑤肤觉（肤觉的感官是全身的皮肤）
内部感觉
①肌肉运动觉
②平衡觉
③内脏感觉
模拟人体的各种感觉的方式
目前，采取影响或者说模拟人体的各种感觉的方式，主要是视觉、听觉和动作交互。
视觉
视觉就是影响人的眼睛。实际操作为佩戴头戴显示器，那么人眼看到的景物就是头戴显示器提供的。
听觉
听觉就是影响人的耳朵。实际操作为佩戴（头戴显示器的）耳机，那么人耳听到的声音就是耳机提供的。
动作交互
动作交互，其实包含了肤觉、肌肉运动觉、平衡觉等感觉的模拟。
肤觉：例如，让用户握着手柄玩射击游戏时，可以模拟出握着手枪之类物件的感觉。
肌肉运动觉：例如，在游戏中让用户握着手柄挥动，可以模拟出挥舞刀剑的感觉。
平衡觉：平衡觉为由于人体位置重力方向发生的变化刺激前庭感受器而产生的感觉，产生原因跟肌肉运动觉一样也是由人体运动而产生，用户戴着头戴显示器转动头部时会带来平衡觉的变化。
VR/AR/MR的概念和区别
VR（Virtual Reality）：虚拟现实；
AR（Augmented Reality）：增强现实；
MR（Mix Reality）：混合现实。
从根本上来说，VR、AR和MR是一个概念、一个目的，而非一种具体的技术。
VR（虚拟现实）
虚拟现实，就是创造出一个虚拟的世界。换言之，用户看到的东西是假的。通过虚拟现实，能让用户感觉自己是在有别于现实世界的另一个世界行动。
在技术上，目前都是通过佩戴VR眼镜来实现的。VR的场景基本上是一个由计算机运算产生的虚拟的世界。当然，还可以进一步导入现实世界的东西，例如在VR的世界导入用户身体或身体的一部分（典型的如手部）的扫描图像。这样做，其实也有点混合现实的意思。因为基本上也是基于VR眼镜来实现，我们一般也把这一类归在VR里面。
AR（增强现实）
增强现实，是在现实世界加入由计算机运算产生的东西，从而达到一种比现实世界感觉更佳的效果。
在技术上，有多种实现方式，效果也有所差异。任天堂的3DS早已有了AR游戏，现在手机上也有很多AR游戏。更有代表性的AR设备是谷歌的AR眼镜Google Glass，能在穿戴者的视野中叠加符号、图像和文本。基于谷歌的增强现实项目Project Tango，全球第一台搭载Tango AR技术的AR手机联想Phab 2在2016年11月1日正式发售。
MR（混合现实）
混合现实是将虚拟世界与现实场景融合起来，直至模糊了两者的界限，让人分不清眼前的景象哪些是虚拟的、哪些是现实的。
说起来，AR和MR在概念定义上，同样同时具有虚拟和现实的元素，同样是两者的混合。要说区别，可以先看看谷歌的Google Glass和微软的全息眼镜HoloLens的区别。微软的HoloLens不仅能在穿戴者的视野中叠加符号、图像和文本，还可以叠加由计算机运算产生的虚拟图像。
AR和VR的发展历程
●20世纪30年代：飞机状训练舱发展历程
●20世纪40年代：Sawyer公司的立体查看器
●20世纪50年代：仿真模拟器Sensorama
1957年，摩登·海里戈（Morton Heilig ）发明了仿真模拟器Sensorama，并在1962年获得专利。Sensorama可通过模拟各种感官提供完全沉浸式体验。它主要由立体声扬声器、立体3D显示器、风扇、气味发生器以及震动椅组成。看上去像坐在游戏机厅的游戏机前，把脑袋伸进一台老式电视机里一样。看着虽然滑稽，但传递出了准确的VR概念。鉴于当时的技术，生产出来的Sensorama很不成熟，无法带给用户满意的体验。就算是现在的VR眼镜也有很多不足。摩登·海里戈的理念确实非常超前，但他都没能看到虚拟现实技术开花结果。
●20世纪60年代：Telesphere Mask
Telesphere Mask设备属于虚拟现实头盔，1960年获得专利。它是第一款头戴式显示器，包括立体3D显示器、广角视觉和立体声，但缺少运动追踪功能。
●20世纪90年代：任天堂的虚拟现实主机Virtual Boy
任天堂的Virtual Boy是首款家用虚拟现实游戏设备。这款游戏机没有头部跟踪或运动跟踪，利用双屏设计视差来创建3D效果。虽然任天堂把它定义为便携式游戏主机，但因为太重，要放到桌面才方便操作。图像显示问题很大，因为图像只是单色，用户玩起来容易头晕，而且电池续航也差。由于产品过于超前，营销仓促，就连任天堂自己在Virtual Boy上也没开发出什么好的游戏。最后Virtual Boy的销量约为77万台，非常失败。
●2010年：搭配微软游戏机使用的Kinect
●2011年：iPhone虚拟现实查看器
●2012年：VR头戴显示器Oculus Rith
●2014年：谷歌纸板眼镜Cardboard
●2015年：三星Gear VR
●2016年：HTC Vive
●2016年：微软HoloLens（混合现实头显设备）
●2016年：索尼PlayStation VR
AR和VR的实现方式
硬件分类
●输出设备
上面讲过，视觉方面的硬件是头戴显示器，听觉方面的硬件是（头戴显示器的）耳机，不过耳机是集成在头戴显示器上的，两者同样属于输出设备（视觉与听觉），而且连为一体。
●输入设备
主要是各种基本的动作交互设备。这一类动作交互设备是必须有的，不可或缺。
●其他辅助外设
还有各种花样繁多的动作交互设备存在。这一类动作交互设备可以说是额外的，具有特殊的功能，能够对用户的体验起到加强效果。
输出设备（基础平台）
VR/AR/MR的输出设备一般为头戴显示器（简称“头显”）。
头戴显示器覆盖了用户的眼睛以提供视觉信息，用户戴上头显后，外界的信号被屏蔽，接受的是来自头显的信号，仿佛来到了另一个世界，有着良好的沉浸感。还有耳机提供听觉信息，有的头显自带耳机，有的头显只提供耳机接口，耳机作为配件需要用户自备。
●VR眼镜方面，包括适用于手机的VR盒子（如三星Gear VR、谷歌首款Daydream VR头盔Daydream View）、适用于PC或游戏主机的VR眼镜（Oculus Rith、HTC Vive、PS VR）、VR一体机（如Oculus最新发布的Santa Cruz）。
●AR眼镜，如谷歌的Google Glass。此外，3DS上有AR游戏，在手机上也可以实现AR。基于谷歌的增强现实项目Project Tango，全球第一台搭载Tango AR技术的AR手机联想Phab 2在2016年11月1日正式发售。
●MR眼镜，如微软的HoloLens。此外，Magic Leap的所谓CR，也是一种提供MR的眼镜。
输入设备（控制器）
输入设备方面，其实头戴显示器自带有输入设备、头部追踪设备和眼部追踪设备；另外还包括手柄、VR全向跑步机、运动跟踪设备、全景相机等。
头部追踪设备
一般来说，头部追踪设备最基本的就是陀螺仪，但单靠陀螺仪当然不行。头部追踪设备，一种是Inside-out Tracking，即让头显自己去检测环境变化，反向计算出VR头显自身的运动；另一种是Outside-in Tracking，即使用外置的追踪设备，对头显进行追踪。手机的VR盒子可以依靠手机的摄像头提供运动图像，检测头部的运动，其实各种眼镜也可以这样，这属于第一种。VR眼镜可以附带发光的二极管，再利用外部的摄像头来扫描跟踪，HTC Vive的Lighthouse系统则利用的是光敏传感器，这些属于第二种。
眼部追踪设备
头戴显示器内部的红外线传感器能够监控用户眼睛的运动。但在准确性上还有着技术方面的提升空间。
运动跟踪设备
外置的运动跟踪设备，如摄像头、HTC Vive的Lighthouse系统等，不仅可以跟踪头部的运动，还可以跟踪手柄、戴上特制手套之后手部的运动，甚至全身的运动。
手柄
VR眼镜基本上都有配套的操纵器，即（游戏）手柄。手柄能够提供手部的运动追踪，还有按键和摇杆提供控制。各家公司的VR眼镜都配有独具特色的手柄。
VR全向跑步机
在第一章中介绍了许多如何在虚拟世界中移动的控制方式，但这些都是科幻，还不是现实。在实际应用中，很多公司的技术都只能做到像HTC Vive这样的，需要提供一个比较大的空间供用户移动，但这条件不容易满足。在这种情况下， VR全向跑步机就出现了。
VR全景相机
要想VR视频普及，发动更多人拍VR视频，专门的VR全景相机就必不可少。很多公司都在研制VR全景相机，如诺基亚研制的OZO。从图中我们可以看到OZO外观相当科幻，为球体造型，在8个方向都有光学传感器和嵌入式麦克风，通过这种布局，不仅能全方向地将周围场景录制为视频，还能准确记录场景中声音的方位。
其他辅助外设
3D耳机
我们需要更好的VR耳机。人耳能够感知声音的方向。现在，有不少的耳机都利用这一点，强调声音的方位感：当用户带上耳机后，能够清楚地感知各个声音的位置，以满足还原声音现场感的需求。但这类耳机的发声位置总是固定在用户脑袋四周的一个半径极小的范围内，用户摇头时，声音却没有位置上的变化。
2016年2月在众筹平台Kickstarter上众筹的Ossic X耳机则解决了这一问题。它通过机内的8个发声单元营造一种根据现实环境的可变声场，达到能够与VR互动的拟真感。其创作团队OSSIC把这种耳机定义为3D耳机。
VR全身触控体验套件
2016年刚过不到两个月的时间，就有不少虚拟现实设备发布，不过虚拟现实设备不仅是头显，要想实现深度的沉浸感，一些配套设施必不可少。
我们身体内所有信息的传递都是靠流通在神经系统的微弱电脉冲信号来实现的，当我们触碰到某些东西的时候，这种触感会以电脉冲的形式通过我们的神经系统传递到大脑之中，让我们感受到，它是我们身体的“母语”。
目前正在众筹的Teslasuit可以说是世界上首款虚拟现实全身触控体验套件，而其工作原理——肌肉电刺激（EMS）技术，就是利用我们身体的“母语”。
“解放”双手的手控VR设备
玩过xbox的朋友们应该都有这样的感受——定位不准确。的确，使用体感摄像头来捕捉用户动作的xbox在捕捉用户动作方面做得略有些差强人意。如果你只是用xbox玩一玩切水果之类的游戏还好，如果玩一些诸如乒乓球之类的对动作细节捕捉要求比较高的游戏，xbox很难精确感应到用户手部挥拍的变化，因此用户很难实现对游戏的精确控制。
近日，VR领头者Oculus联手美国华盛顿大学，推出了一个名叫Finexus的新项目。Finexus旨在为虚拟现实体验提供输入设备。通过Finexus，用户可以轻易地在虚拟现实的世界里完成诸如写字、按扁汽泡纸、弹奏吉他、打字之类的对手指动作捕捉精度要求极高的活动。举个例子，一旦Finexus技术普及，钢琴家在举办音乐会时，就可以与现场观众互动，实现“大家一起弹”的效果。Finexus不仅测量精度高，还可以解放用户的双手，让用户不用再在虚拟现实体验过程中拿着手柄或操控杆。
有触感、可浮空的VR超级外设
随着VR设备以及越来越多的VR游戏的发布，现在有条件购买的玩家只要戴上头显，拿起游戏手柄或控制器，就能够在VR世界尽情地玩耍。但人类就是一种欲望无穷的生物，玩家们已经逐渐不满足于现有的VR输入设备了，他们想要在游戏中拥有更多功能，如完整的身体动态捕捉、触感等。而人类同时也是一种能自我满足需求的生物，市场上有了这样的需求，当然就会出现解决这些需求的公司。最近美国的一家创业公司AxonVR就准备针对这个操控真实感不足的问题，推出一款超级VR外设——Axon VR
VR背包式PC
适用于PC或游戏主机的VR眼镜，目前还没有无线的设备推出，需要线缆连接PC或游戏主机。线缆的牵制是相当烦人的，用户在使用中由于运动，很容易就不小心把线缆缠到一起。于是，有了VR背包的需求空间。VR背包的概念相当浅显，就是把主机当成背包背在身上，这样，用户在使用中就不会由于运动把线缆缠到一起了。
索泰的解决方案一开始很简单。他家的迷你PC ZBOX，由于体积不大，可以装进双肩包里，用户再用线缆连接VR眼镜，就不会有线缆容易缠绕的困扰了。后来，索泰又推出了VR背包电脑ZOTAC VR GO，这个才是一款专门用于VR的成熟产品。
VR游戏旋转椅
当传统的电脑椅演变成为VR游戏旋转椅。一家总部位于伦敦的VR公司，在KickStarter上众筹了一款VR游戏旋转椅Rotor VR，然而支持者远低于预期。众筹失败之后，Roto幸运地拿到了一笔30万美元的融资，为公司继续研制新产品提供了资金支持，随后又发布了新版本的VR游戏旋转椅。
动作捕捉在VR中的应用
3.1激光定位技术
3.2红外光学定位技术
3.3可见光定位技术
3.4计算机视觉动作捕捉技术
3.5基于惯性传感器的动作捕捉技术
三维手势交互
4.1三维手势交互技术的基本原理
4.2手势识别技术发展的3个阶段
4.3三维手势交互技术与VR结合的意义与应用
4.4更多自由度的全自然手势交互技术
