拜影像辨识技术的进步与硬件价格的下降，动作撷取技术不但成熟而且容易取得；像是由日本影片制作人浅井宣通（Nobumichi Asai）团队，所开发的脸部投影特效影片「OMOTE」，以及 58 届葛莱美奖（Grammy Awards）颁奖典礼中，女神卡卡在表演开头的实时妆容特效，都是透过高速摄影机等设备，辨识脸部与追踪动态，并将视觉效果实时投影到表演者头部，进行容貌的改变。这样的作品运用了动作捕捉技术、配合光雕投影（Projection Mapping）呈现形式，让科技展演有了新的可能性。
光学动作撷取技术：将现实世界纳入虚拟世界
前面提到的这种动作撷取技术技术，在本质上就是「光学动作撷取技术」；所谓光学动作撷取技术，是先将要侦测的人或物体，配戴一种特殊的光球（称为Marker 或 Optical），接着运用多台高分辨率摄影机，来记录侦测对象运作的轨迹；这些高分辨率摄影机的周边会设置红外线发射器，并投射出肉眼不可见、高频的红外线闪光。前面提到的光球，由于会反射红外线的光点，再透过多台高分辨率摄影机接收后，经过对比的运算后，取得光球在实体空间当中的三维 X、Y、Z位移动作，便可进一步得到被侦测物的动态；而由于光点是被动反射光线，所以称为又称「被动式」光学动作撷取系统。动作撷取技术在实务的使用上已有很长一段时间，举凡电影、游戏、表演艺术几乎都能看见它的应用，就其根本而言，将实体世界的动态转译为虚拟世界的形态变化，是一种跨越了虚实的科技。下面影片是《魔戒三部曲》中扮演咕噜的知名英国导演、演员 Andy Serkis，谈谈动作撷取在电影中的应用。
扩增实境：「神奇宝贝」出现在现实当中
就跨越虚实的科技而言，这里我们来谈谈时下热门的「扩增实境」（Augmented Reality，AR）技术，所谓扩增实境，是一种将数字讯息或是计算机产生的信息，实时覆盖在真实空间当中的一种技术，一般而言，扩增实境可以扩增人的「五感」，但现今大多数的扩增实境技术仅用来强化视觉感受。这里提到的所谓「实时覆盖信息」的手法，可以是直接让观众直接用身体感官感受的，也可以是间接透过装置进行体验的。举凡近两年席卷全球的热门游戏 Pokémon GO（即便过去AR功能总是被玩家关掉），以及最新的 iOS 11 ARKit 技术应用，就是家喻户晓扩增实境的典型运用。若以 1994 年 Milgram 等人，所提出的现实-虚拟连续系统（Reality-Virtuality Continuum）（下图），则可以更清楚地知道，扩增实境（AR）是较为倾向以「真实环境」做为呈现基底。这与时下热门的「虚拟现实」（Virtual Reality, VR）不同，扩增实境技术主要试图将虚拟对象嵌入现实当中，因此「真实空间」在扩增实境当中被视为一项非常重要的元素。总体而言，扩增实境可视为介于全真实环境与全虚拟环境的一种「混合物」或是「中间地带」。这是当代社会一个非常奇特的现象，透过数字科技，我们把想象与真实介接在一起，并且穿梭往来两地进行工作、娱乐与生活。
透过「扩增」贴近舞蹈的核心
还记得多年以前，在松烟有一个很特别的展览：「与佛塞同步─威廉‧佛塞新媒体艺术系列展览」，这个展览，运用信息可视化的方式，让我们得以用更贴近编舞家的想法，去看透、欣赏一件舞作。一般近年来我们看到的表演艺术，若要使用互动科技于其中，大多是运用各种电子传感器，实时侦测表演者的位置与动作，并让计算机或机械设备（如空拍机、机械手臂），反馈出对应的视觉影像或是对象动态，与表演者一同在舞台上呈现。但「与佛塞同步」这个展览，却不是实时的，是一种「好好纪录当下的轨迹，储存、分析后，再用不同手法进行再现」的表演艺术。
「与佛塞同步」整个展览的内容，基本上都是来自于名为「Synchronous Objects」的计划，该计划由舞蹈家威廉 ‧ 佛塞（William Forsythe），与美国俄亥州立大学共同合作，目的在于以佛塞 2000 年舞作《重制一道平面》（One Flat Thing, reproduced）为基础，藉由科技进行不同型态的纪录与分析，让舞蹈以不同的方式再现。进入「Synchronous Objects」官网，可以在副标题发现计划的核心概念：「透过将舞蹈转化为数据，再转为对象，让编舞结构进行视觉再现」（visualizing choreographic structure from dance to data to objects）官网当中收录很多整体制作的细节、参与学生的构想等等文字、静态、动态影像之数据，简直就是一座宝库，充分地呼应了展览的主要求，也让观众用不同的角度去了解所谓舞蹈、编舞，其底层所呈现的讯息。若不以实时互动的角度进行检视，大致上「Synchronous Objects」计划某种程度上也运用了科技，去扩增了原始舞蹈的实境；而透过这种「扩增」，作品则提供了一种新的、较为客观方式来看待「编舞」，让观众可以直接感受到编舞家的感受，而不只是透过专家、或舞评家的看法。
「混合实境」科技表演，捕捉现场混合虚拟
谈到科技表演，最近有一个很有趣的作品：《CyberCube》，这是以黑川互动媒体艺术（新媒体艺术家胡缙祥）为主导，整合多个艺术创作团队所进行的新媒体展演。《CyberCube》让表演者进行立方体表演，并透过实时追踪的技术（运用本文最前面的动作撷取技术），配合 LED光条、计算机灯、以及网络直播（呈现实时特效），形塑了一个「混合实境」（Mixed Reality）跨界创新创作展现。《CyberCube》灵感来自于科幻小说作家威廉 ‧ 吉布森（William Gibson）的作品《神经漫游者》（Neuromancer），故事描述由于科技的快速发展，人类穿梭在真实与虚拟两个的世界中的痛苦与挣扎。《CyberCube》中的 LED 立方体象征网络世界，表演者操控着立方体直到无法自拔，暗喻人在虚实空间中，存在、逃离、融合、穿梭等不同的面向。表演空间当中，设置了数台高速摄影机，这些摄影机，所侦测到的表演者动态，将实时运算后，影响立方体的 LED 光条变化，与现场的计算机灯投射效果；此外，摄影机所捕捉的实景与 3D 对象结合后，透过网络直播的方式，让在线观众实际看到×××交融的视觉效果，灵活地将整个表演场域，转化为被重新定义的有机生命体，更是此表演的一大亮点。
低成本强化情境：快来动手做吧！
本文最末，再来谈一下另一个感觉上不太一样，但我个人认为本质雷同的趣味应用：Nintendo Labo，这是任天堂公司于 2018/1/18 日，发表了一个针对 Nintendo Switch 主机所开发的新玩法。透过任天堂所释出的影片可以知道，这些新的游戏包含纸板、绳子、橡皮筋等动手做的材料，让玩家自行组合诸如：钓竿、遥控器、钢琴、设备背包、踏板等对象。
游戏无非就是要让玩家沈浸到一种情境的体验当中，任天堂采取的这个策略，是材质上相对较为便宜的手段（连橡皮筋都跟官方买应该也很贵），去强化一种体验的情境，让玩家无论从动手做，一直到上手玩，都可以彻底扩大、加深感官的体验，让游玩的时候，更能投入的游戏所建构的虚拟情境当中。若回到本文前面所提到的，现实─虚拟连续系统（Reality-Virtuality Continuum），Nintendo Labo 应可以被视为「扩增虚境」（Augmented Virtuality，简称 AV），这是将真实世界的讯息，加入到虚拟环境里；Nintendo Labo透过橡皮筋、纸板等对象，让玩家能够保持游戏应有的动作与姿势，进而将现实中才有的重力、肢体运作轨迹，加入到游戏中，用来调整、控制游戏的运作。
有一篇很不错的文章〈扩增不到的实境，是没有阴阳眼的焦虑：关于Pokémon Go的一点人类学观察与解读（二）〉曾提过，关于「虚拟现实」（VR）与「扩增实境」（AR）的区别可以归纳成以下的公式：
VR虚拟现实 vs. AR扩增实境 = 观落阴 vs. 阴阳眼没有错！这种比喻真是恰到好处，当数字装置已成了现代人的新感官之后，虚拟世界所发生的事情，只要你透过屏幕这道跨越虚实的窗，就能看见。人在虚境与实境之间穿梭往来的生活型态，其实很早就有这样的概念，但直至现今，数字科技运算的强大能力，才让许多不可思议的应用不断发生。数字化强化了影像的制作与传播能力，并降低制作门坎与成本，再透过行动装置的普及，大小屏幕所呈现的影像，更是充斥在生活各种细节当中，不断地引导观众沉浸到内容开发者其所安排的幻觉当中，让人人都可以在虚拟与真实的世界来去自如。