时序动作分割(temporal action segmentation)任务介绍

时序动作分割任务: 输入是一个未经裁剪的视频，输出是视频中每一帧的动作类别。所以该任务可以理解为对每一帧视频进行打标签处理（类同于图片分割是给每个像素打标签）。

一、算法介绍

• MS-TCN/MS-TCN++
• Global2Local

二、常用数据集介绍

2.1 Breakfast

数据集形式：

1. 数据集有1712段第三视角的视频。
2. 所有视频是在18个不同的厨房录制的，视频内容是做早餐的一些动作。
3. 总共有48个动作类别，且每段视频平均包含6个动作类别。
4. 视频的平均帧数为2097帧

图示：

2.2 50Salads

数据集形式：

1. 数据集有50段视频，视频录制是俯视视角
2. 视频由25个被拍摄者，每人做两个salad录制下来的
3. 总共有17个动作类别
4. 视频的平均帧数为11552

图示：

2.3 GTEA

数据集形式：

1. 数据集有28段视频，视频录制是第一人称视角
2. 视频由4个被拍摄者准备咖啡或者三明治等7种日常活动
3. 总共有11个动作类别
4. 视频的平均帧数为1115

图示：

2.4 MPII Cooking 2

该数据集目前使用较少

数据集形式：

1. 数据集有273段视频
2. 视频时长在40秒到40分之间
3. 总共有67个动作类别，其中有6动作个不在测试集里面

2.5 MERL Shopping

该数据集目前使用较少

数据集形式：

1. 数据集有96个视频时长为2分钟的视频，60个训练、
2. 使用HD摄像头俯视拍摄
3. 总共有32个被拍摄者，每个人3段视频拍摄于不同的日期
4. 总共有5类动作，Reach to Shelf, Retract from Shelf, Hand in Shelf, Inspect Product, Inspect Shelf

其它视频任务介绍请查看-文章<<主流的视频动作类算法任务介绍>>