论文:Fast Learning of Temporal Action Proposal via Dense Boundary Generator

引文:https://zhuanlan.zhihu.com/p/91729987
引文:https://zhuanlan.zhihu.com/p/91963727

原文:https://arxiv.org/pdf/1911.04127.pdf
code:https://github.com/TencentYoutuResearch/ActionDetection-DBG
在这里插入图片描述
在这里插入图片描述

三点创新,探索视频动作检测最优方案

视频动作检测技术是精彩视频集锦、视频字幕生成、动作识别等任务的基础,随着互联网的飞速发展,在产业界中得到越来越广泛地应用。视频动作检测算法需要在给出视频中找到动作发生的位置(起点和终点)和置信度。如下图所示,我们需要在一段体育视频场景中,找到“跳高”这个动作发生的起点时刻和终点时刻。

在这里插入图片描述

DBG框架结构

算法框架如下图所示,包括三个部分:视频特征抽取(Video Representation),稠密边界动作检测器(DBG),后处理(Post-processing)。框架图如下:
在这里插入图片描述

与现有的视频动作检测算法相比,DBG算法有3点创新:

(1)提出一种快速的、端到端的稠密边界动作生成器(Dense Boundary Generator,DBG)。该生成器能够对所有的动作提名(proposal)估计出稠密的边界置信度图。

(2)引入额外的时序上的动作分类损失函数来监督动作概率特征,该特征能够有利于回归动作的完整度。

(3)设计一种高效的动作提名特征生成层,该层能够有效捕获动作的全局特征,便于后面的分类和回归模块。

据了解,DBG算法在全球两大权威视频动作数据集ActivityNet-1.3和THUMOS14上均取得了第一。算法的整体框架主要包括三个部分:视频特征抽取(Video Representation),稠密边界动作检测器(DBG),后处理(Post-processing)。

DBG实验

在这里插入图片描述

在这里插入图片描述

发布了97 篇原创文章 · 获赞 222 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/qq_32642107/article/details/103432168
今日推荐