Action Unit到底是什么?

action unit 有0~5共6个强度,编号A到E代表1到5, 0是没有AU
image-20211125152328233.png

数据的形式是标注的视频帧,

有6个常用的数据集:

  1. DISFA 数据库。

丹佛大学自发面部运动单元数据库( Denver Intensity of Spontaneous Facial Action database,DISFA) [5]建立于2013 年, 采集了15 位男性和12 位女性,共27 位被试的AU 视频样本。被试坐着观看由YouTube 上的9 个片段拼接而成242 s的视频,每个片段激发一种情绪。在此过程中摄像机从正面采集 被试的面部表情,被试所处环境如光照、背景等条件一致。视频样本分辨率为1024 × 768,帧率为20 fps( frame /second) ,每位被试均采集4 845 帧。2 名FACS 专家在数据库中每帧图像上标注了12 种AU 的起始和终止,同时按照0 ~ 5 共6 个级别标注了AU 强度

  1. BP4D-Spontaneous 数据库。

    BP4D-Spontaneous[6]简称BP4D,由宾汉姆顿大学和匹兹堡大学合作建立,采集了18 位男性和23 位女性,共41 位被试的视频样本。不同于直接观看视频激发情绪,BP4D 采集过程中通过指导被试作8 个任务激发相应的情绪,整个过程由专业演员主持,任务之间通过被试自评确定是否产生期望的情绪。数据集中包含每个任务对应的2D 和3D 视频 ,只保留表情显著的片段,每段平均时长1 min。对于每个视频中一段20 s 表情最为丰富的片段,由2 位FACS 专家标注27 种AU的起始和结束,同时对于AU12 和AU14,按照0 ~ 5 的级别标注强度。该数据库与DISFA 是目前学术界使用最为广泛的两个AU 检测基准数据库。

  2. EmotioNet 数据库。

    俄亥俄州立大学Benitez-Quiroz 等[7]于2016 年建立的百万规模人脸表情数据库EmotioNet,图像均来自于互联网,相对于实验室场景中采集的数据,EmotioNet 中的数据来自于自然场景,因此更加真实且接近实际应用场景。数据库分为训练集和测试集,其中测试集包含26 116 张图像,通过FACS 专家标注了12 种AU 是否出现,训练集有约95 万张样本,由算法自动检测AU 并标注,其检测准确率约为80%。由于训练集的AU 标签中含有一定程度的噪声,EmotioNet 被较多用于 弱监督学习中。

  3. CFEE 数据库。

    该数据库是文献[8]在研究复合表情( Compound FacialExpressions of Emotion,CFEE) 时建立,CFEE 数据库由230 位被试的正面面部图像构成,包括平静状态( 中性) 在内,共包括22 种复杂的复合表情,如高兴的惊讶、怨恨、敬畏、惊骇等。FACS 专家对每种表情标注了特定的AU。经统计,数据库中被标注的AU 有19 种。

  1. UNBC-McMaster 肩痛表情数据库。

UNBC-McMaster 肩痛表情数据库[9]由25 名患有肩痛的被试的视频数据构成,共200 个视频序列,视频为正面拍摄,被试表情为肩痛过程中的自然流露。FACS 专家对视频中的每一帧进行了10 种AU 强度标注。该数据库的最大特点是含有其他数据库中少见的与疼痛相关的AU43。

  1. CK + 数据库。

CK + 数据库由CK( Cohn-Kanade) 数据库扩展而来[10],大部分数据为黑白视频,少数为彩色视频。数据库中包含123 位被试的593 段表情视频,所有视频序列中的表情都是从平静到峰值程度。FACS 专家对593 段视频的峰值帧,即最后一帧进行标注,共标注了30 种AU 是否出现,其中大部分AU 标注了强度。

image-20211125154004631.png

具体文件形式:

比如说针对一个4分钟的视频, 是人的正面, 折合后有4800多帧(20帧每s), 那么有个txt文件, 记录了每帧对应AU的强度, 数据集共12个AU:

image-20211125171853826.png

image-20211125171920414.png

Guess you like

Origin blog.csdn.net/landing_guy_/article/details/121542136