AR-SSVEP for Brain-Machine Interface:Estimating User’s Gaze in Head-mounted Display with USB camera
用于脑机接口的AR-SSVEP：使用USB摄像头评估用户对头戴式显示器的注意力
文章目录
发表于： 2015 IEEE虚拟现实（VR）
来源：https://ieeexplore.ieee.org/document/7223361
摘要
我们的目标是开发一种脑机接口（BMI）系统，用于估计用户对某个物体的注视或注意力，以便在现实世界中捡起它。在实验1和2中，我们使用在头戴式显示器（HMD）上呈现的照相场景的亮度和/或对比度调制闪烁来测量稳态视觉诱发电位（SSVEP）。我们应用多类SVM来估计每2s时间窗数据的凝视位置，并通过一对一会话交叉验证获得了非常好的凝视位置分类。在实验3中，我们使用由USB相机在线捕获并呈现在HMD上的真实场景的亮度和对比度调制闪烁来测量SSVEP。我们将AR标记放在真实物体上，并使其位置在HMD上闪烁。我们获得了具有最高亮度和对比度调制的凝视分类的最佳性能（在偶然性水平33％时73-91％准确度），以及具有低（最高25％）亮度和对比度调制（42-50％准确度）的显着良好分类）。这些结果表明，通过USB摄像头的真实场景的亮度调制闪烁可以通过使用增强现实技术应用于BMI。
Keywords: SSVEP, EEG, Brain-machine Interface, Augmented-reality, SVM.
1 介绍
脑机接口（BMI）是一种使用脑电活动控制机器或计算机的技术。稳态视觉诱发电位（SSVEP）由视觉闪烁引发，并且是适用于BMI的流行EEG信号之一[1]。SSVEP适合BMI拾取物体或选择场景中的按钮，并用于许多研究[2] [3]。然而，大多数研究都提出了人工闪烁模式，如人工场景中的棋盘格，如图形按钮或虚拟场景（参见[4]]）。我们的目标是将基于SSVEP的BMI应用于我们周围的真实场景。我们称之为AR-SSVEP，并且已经发现CRT显示器上的摄影场景的对比度调制闪烁可以引出SSVEP，并且可以通过统计分类方法来估计用户的凝视[5]。这项研究的目的是估计用户对使用SSVEP拾取物体的注视，这是通过头戴式显示器（HMD）和USB相机的增强现实（AR）技术引出的。
2 实验1
第一个实验的目的是测试是否可以使用在HMD上呈现的摄影图像的亮度和/或对比度闪烁来测量SSVEP。
2.1 方法
八位初次使用的受试者以书面知情同意后参与了实验。视觉刺激呈现在OEL显示器面板HMD（SONY HMZ-T3,1280×720像素，45 × 24.4deg，60Hz刷新），放在EEG电极帽（g.tec g.USBamp）上。我们测量了8个通道（10-20系统; Cz，T5，P3，Pz，P4，T6，O1，O2）的EEG，其具有Fz接地和A2参考，512Hz采样率（带通滤波器：0.5-60Hz）。十六张摄影场景的静态照片（1280 × 720 使用像素）和三个小位置（100 × 100图像中的每个像素被分配到闪烁区域（图1）。我们使用6,10和0（无闪烁）Hz闪烁，并在三个位置随机分配它们。在每次试验的15s呈现期间，要求受试者将眼睛固定在红十字上。我们准备了两种不同的对比度调制：对比度和亮度调制，以及等光对比度调制。后者对观察者来说更加合理，因为它的亮度是恒定的，而它的局部对比度会发生变化（图2）。小矩形区域周期性地交替与25,50,75或100％对比度降低的图像和原始图像进行闪烁。所有受试者以随机顺序执行固定闪烁频率（3），调制方法（2），调制水平（4）和16个场景（总共384次试验）的组合。
2.2 结果
在剔除第一个1s数据后，我们将每个试验的15s EEG数据分成7个2s-时间窗数据，并应用FFT来获得SSVEP。因此，我们得到了112个样本（7 epochs × 16 scenes） 对于每种情况。线性支持向量机（SVM）用于使用32维（8 ch of EEG x 4 频率功率：6,10,12,20）对凝视位置（一对多其他多类：6,12或0 Hz）进行分类赫兹）。保留一个会话（试用）out方法用于交叉验证。我们获得了显着高于机会水平（33.3％）的分类性能，除了25％和75％的等光对比度调制条件（单样本t检验）p s < .05与等亮度对比度调制相比，亮度和对比度调制的性能更高（图3左）。表现取决于对比度。
3 实验2
我们基于实验1的结果选择亮度和对比度调制以获得合适的闪烁刺激，并且使用相同的八个对象进行具有更高频率的实验：10和15Hz。我们获得了比实验1更好的性能（图3中心; SMV：8 c h × 4 频率功率为10,15,20和30 Hz）。
4 实验3
基于实验1和2的结果，我们确定使用10和15Hz闪烁的亮度和对比度调制来应用于AR-SSVEP。
4.1 方法
我们准备了6个附有AR标记的物体。随机选择其中三个并放在桌子上，并分配到10,15或0Hz闪烁。安装在HMD上的USB摄像头（BUFFALO BSW20K07H，640×480像素）以10 Hz的频率拍摄场景，AR标记周围的140×140像素区域以10,15 Hz闪烁或在HMD屏幕上保持恒定（0 Hz）（图5）。受试者的任务与之前的实验相同。四个受试者以随机顺序执行固定闪烁频率（3），调制水平（4）和16个对象布局（总共192次试验）的组合。
4.2 结果
我们发现了比以前的实验更好的分类性能（平均80％，100％对比度），即使使用真实世界和在线捕获的刺激（图3右）。然而，性能改善可能是由于实验3中的闪烁区域的尺寸大于实验1和2。
5 结论
我们通过在真实物体上使用AR标记开发了AR-SSVEP BCI系统原型，并通过USB摄像头使其位置在HMD上闪烁。我们获得了具有最高亮度和对比度调制的凝视分类的最佳性能（偶然性水平的准确度为73-91％），并且即使最低（最高的25％）亮度和对比度调制（42-50％）也具有显着良好的分类准确性）。这些结果表明，通过USB摄像头的真实场景的亮度调制闪烁可以通过使用增强现实技术应用于BMI。然而，存在分类性能和闪烁恼人的折衷。我们将在未来寻求AR-SSVEP和更好的机器学习算法的最佳条件。