A feasibility study on SSVEP-based interaction with motivating and immersive virtual and augmented reality
基于SSVEP的交互与刺激和沉浸式虚拟和增强现实的可行性研究
文章目录
摘要
与其他BCI类型相比，基于非侵入式稳态视觉诱发电位（SSVEP）的脑 - 计算机接口（BCI）系统提供高带宽，并且仅需要最少的校准和训练。虚拟现实（VR）已经被验证为BCI实验的有效，安全，可负担和激励的反馈模式。增强现实（AR）通过叠加信息性，上下文敏感的计算机生成内容来增强物理世界。在BCI的上下文中，AR可以用作更友好且更直观的现实世界用户界面，从而促进更加无缝和目标导向的交互。这可以提高BCI系统的实用性和可用性，并可能有助于补偿其低带宽。在这项可行性研究中，三名健康参与者必须使用在线SSVEP BCI在沉浸式VR和AR条件下完成复杂的导航任务。在所有条件下，三分之二的受试者成功。据我们所知，这是第一个展示SSVEP BCI的作品，该BCI使用融入沉浸式VR和AR（头戴式显示器和相机）的目标刺激进行操作。该研究方向可以通过引入更直观和有效的真实世界互动（例如智能家居控制）使患者受益。对于需要免提操作或受益于免提操作的用户组（例如，由于临时的情境残疾），它也可能是相关的。这是第一个展示SSVEP BCI的作品，它使用融入沉浸式VR和AR（头戴式显示器和相机）的目标刺激进行操作。该研究方向可以通过引入更直观和有效的真实世界互动（例如智能家居控制）使患者受益。对于需要免提操作或受益于免提操作的用户组（例如，由于临时的情境残疾），它也可能是相关的。这是第一个展示SSVEP BCI的作品，它使用融入沉浸式VR和AR（头戴式显示器和相机）的目标刺激进行操作。该研究方向可以通过引入更直观和有效的真实世界互动（例如智能家居控制）使患者受益。对于需要免提操作或受益于免提操作的用户组（例如，由于临时的情境残疾），它也可能是相关的。
1 介绍
脑 - 计算机接口（BCI）系统（Wolpaw等人，2002，Pfurtscheller等人，2006）在人脑和计算机之间建立了另外的直接通信和/或控制通道。 BCI尝试基于从诸如脑电图（EEG）的脑信号中提取的特征空间，时间或光谱特征（即，有意的，目标导向的心理活动）的分类来确定用户意图并且实时提供反馈。
任何以6Hz以上固定频率振荡的视觉刺激都会在枕叶皮层上产生稳态视觉诱发电位（SSVEP）。用户可以通过将注意力集中在多种刺激中的一种上来调节这些SSVEP。基于SSVEP的BCI（Cheng等人，2002，Gao等人，2003）被广泛使用，因为大多数用户可以用少至一个记录通道操作它们，最小化设置，校准和训练。
虚拟现实（VR）已经被验证为BCI系统的有效，安全，经济和激励的反馈方法（Lotte 2008，Leeb 2009）。增强现实（AR）通过叠加信息性，上下文敏感的计算机生成内容来增强物理世界（Schmalstieg等人，2002）。 Navarro（2004）提出在AR中使用可穿戴BCI系统。最近的研究如（Bell等人，2008）和（Kansaku等人，2010）报告了使用配备相机的机器人代理的BCI驱动的基于桌面的真实世界交互。
在本文中，我们将SSVEP-BCI和基于桌面的VR（Faller等人，2010a，b）的工作扩展到基于SSVEP BCI的沉浸式VR和AR环境中的操作。这项调查非常有趣，因为AR用户界面可以通过为物理世界提供更直接，友好和直观的界面来补偿BCI的低带宽，从而促进更加无缝的交互。
2 实验和方法
2.1 受试者
三名男性受试者（年龄26-27岁;两名SSVEP经历过，一名BCI初试）没有可能对脑电图产生不利影响的神经系统疾病或药物，自愿参加该研究。所有受试者在实验前都给出了书面知情同意书，并以每小时7.50 e的报酬。在书面说明支持的个人通信中解释了实验的性质和目的。
2.2 信号采集和处理
根据10-20系统（Jasper 1958），使用三极烧结的AgCl电极，在双极设置中，2.5cm前面和后面的O1，接地电极放置在Fpz，得到信号。我们将阻抗保持在5 kQ以下。使用生物信号放大器（g tec，Guger Technologies，Graz，Austria），数据采集卡（NI-6031E，National Instruments Corporation，Austin，Texas）和标准Windows XP PC（Microsoft Corporation，Redmond，华盛顿）。我们应用了0.5到100 Hz的带状滤波器，50 Hz的陷波滤波器和256 Hz的采样。使用rtsBCI（Schlogl＆Brunner 2008）和分类方法谐波和决策（HSD，参见Miller-Putz等人，2008）实时处理数据。
2.3 实验设计和范式
反馈和SSVEP刺激在专用的Windows XP PC（Intel Core i5750,4096 MB RAM，NVidia GeForce GTX 260）上呈现，并呈现头戴式显示器（HMD; V8 Virtual Research Systems，Aptos，California）。使用安装在HMD顶部的USB相机（Logitech Webcam Pro 9000，Logitech Inc.，Fremont，California）在线获取AR场景的真实世界视频图像。所有反馈都是使用混合现实框架Studierstube（Schmalstieg等人，2002年）和ARToolKitPlus（Wagner＆Schmalstieg 2007）为AR场景生成的。
VR和AR条件的任务是相同的：受试者必须等待30秒，然后激活导航刺激，通过障碍滑雪将化身引导到第二个灰色航点，在那里他们不得不再次停用导航刺激。运行30秒后结束（见图1.A）。任务完成的最长时间是十分钟。每种情况都有两次运行。所有刺激都表示为在12,15,20和8 Hz之间在红色和黑色之间稳定振荡的二次平面。化身旁边的三个刺激与三个导航命令相关联（见图1.B）。第四个刺激静态地放置在右上方，用于打开和关闭导航刺激和相关的BCI检测器，以在非控制期间提供更高的稳定性（类似于Cheng等人2002）。相机在VR场景中被固定，并且角度类似于相机安装在HMD上的AR条件下的角度。受试者在完成病情后回答了简短的问卷。
2.4 分类
根据HSD方法，一旦基频处的响应总和以及二次和三次谐波分量的总和超过导航刺激的1s的停留时间内的所有其他响应的总和，则选择一个类别。用于开/关刺激。使用来自VR和AR情景之前的1分钟校准测量的数据对目标频率的响应进行归一化。每次激活后都是3s不应期。
2.5 效率评估
我们报告控制状态下的有意（任务一致）相互作用为每分钟真实阳性TPc和无意相互作用，分别为对照和非控制期间每分钟假阳性FPc和FPvc。我们计算了运行的控制和非控制周期的正预测值（PPV或精度，Altman＆Bland 1994）（PPV = TP /（TPc + FPc + FPNc）），绘制导航轨迹并列出任务时间完成。
3 结果
图2显示了VR和AR条件下三个受试者的示例轨迹。
图2这两个条件中三个主体的示例轨迹中的两个填充点标记了障碍滑雪的极点。
表1总结了2.5中描述的最具特色的性能指标。值代表执行运行的平均值。
表1 VR和AR条件的评估结果。
4 讨论
沉浸式VR和AR场景都被证明是用于反馈和动态SSVEP刺激呈现的有效设置。据我们所知，这是首次报道使用目标刺激进行操作的SSVEP BCI，该刺激融入沉浸式VR和AR。经验丰富的受试者（AO3和AQ9）在两种情况下均成功完成所有运行，而天真的主题BF4达到仅在第一次运行VR条件时进行适度控制。观察到PPV的减少和非控制状态下从VR到AR状态的FP数量的增加与受试者在问卷中的报告一致，他们发现AR状况稍微困难一些。原因可能包括景观的更高动态，移动头部或自然时的视角的微小变化，可能会分散真实世界的环境。透视HMD和对比度或刺激颜色的背景敏感调整可以是优化这种方法的方法。这些问题需要进一步调查。 AO3和AQ9发现两种情况都非常激励，而BF4在这种担忧中感觉中立。就振荡刺激的烦恼而言，所有受试者都感到中立。所有受试者在现实环境（用户接受）中使用这样的系统感到中立甚至积极的事实支持这样的论点，即具有AR用户界面的SSVEP BCI可以成为可行的通信设备。
5 总结
AR可以通过提供更丰富，更直接，更直观的界面来弥补传统的一些缺点，例如低带宽，从而提高BCI系统的实际可用性和可用性。这允许更加目标导向和无缝的真实世界交互。 AR用户界面可以特别好地与基于SSVEP的BCI组合，因为任意数量的刺激可以在空间上与物理世界中的不同兴趣点相关联。这些可能是抽象的，也可能与设备，人员或控件等物理对象重叠。这可以是向用户呈现所有可能的交互选项的优雅且直观的方式。此外，已经证明基于SSVEP的BCI对于选择任务特别有效（Cheng等人，2002，Gao等人，2003）。通过引入更直观和有效的智能家居控制，这些系统可以为患者提供更高程度的自主性和功能独立性。此外，AR和BCI技术的组合可以为需要或受益于免提操作（例如由于临时情境残疾）的用户组引入有价值的附加通信或控制信道，例如飞行员，宇航员，司机或办公室工作人员。