Background Suppression Network for Weakly-supervised Temporal Action Localization [Paper Reading]

研究内容:弱监督时域动作定位

结果:Thumos14 mAP0.5 = 27.0

         ActivityNet1.3 mAP0.5 = 34.5

         从结果可以看出弱监督这种瞎猜的方式可以PK掉早些时候的一些全监督方法

Code: GitHub P.S.我在机器上复现始终差一点点

Motivation: 发现之前的工作没有考虑到背景类别,会将背景帧误分为动作类别,造成大量FP。本文提出了背景抑制网络BaSNet,引入了额外的背景类,两支镜像网络(一支为base网络,一支为用attention抑制背景的suppression网络),实验表明这样设计可以有效抑制背景的影响,从而提高定位的准确性。

Idea来源: attention模块参考自STPN (CVPR2018) 将fc换成时域卷积,STPN的作者今年有一篇ICCV2019的工作也是围绕背景建模,在STPN的基础上引入了(1-λ)作为背景类的权重,细节暂且不表

              关于背景建模出现在弱监督时域动作定位领域最早的一篇是"Completeness modeling and context separation for weakly supervised temporal action localization"(CVPR2019)

              这篇文章的主要卖点不是背景这里,但背景类的引入启发了后续的3个工作,本文和上面提到的STPN的强化版,还有我个人最喜欢的LPAT(Shou Zheng团队的工作),后续会整理这篇的笔记

方法

过去的工作类似base branch去除背景类这部分,问题的设定使得没有背景类的负样本用于训练,即每个视频groundtruth背景类别均为1,最后会导致背景类的异常高响应,定位结果很差。

作者为了构造背景类的负样本,在另一支网络中引入attention模块(filtering module)抑制背景的响应。整个网络结构使用共享权重的conv模块分别处理两个分支,这两个分支唯一的不同点就是输入(supp分支的输入经过attention处理)和background label(base的背景类为1,supp的背景类为0) 这两点不同。这样做的目标是更好的训练filtering module使其学到前景信息,从而有效过滤并抑制背景的响应。

MIL分类的 top-k mean 想法源自WTALC的方法

最后的location模块在测试阶段选取supp分支的输出,后续操作仍然采用多阈值分割后NMS的方式,proposal的confidence score本文借用CMCS的方法:计算proposal区域和边界区域的均值得分之差

效果图: 

 

猜你喜欢

转载自www.cnblogs.com/demian/p/12052354.html