读书笔记:Large-scale Vedio Classification with Convolutional Neural Networks

主要点:一是设计了不同结构的CNN来学习视频分类。二是设计了一种加速训练的方法。

不同结构的CNN

这里写图片描述

Single Fusion : 和图片分类没有区别
Early Fusion : 在第一层的卷积中,就直接将输入帧全部融合,相当于将卷积扩展为三维。
Late Fusion : 每隔一定的帧数,抽取两帧,每帧的处理步骤与Single Fusion相同,但在全连接层,将两帧的输出融合。两帧的前处理步骤的网络共享参数。它相比Single Fusion能够识别动作的原因是,通过比较两帧的差异,可以识别动作。
Slow Fusion : 是Single Fusion和Late Fusion 的一个折中, 在开始的CNN卷积层中,假如每次输入是10帧,那么Early Fusion 的第一层卷积核为(a, 3,10),即a×a×3(通道数)×10。也就是一下就融合完了,而Slow Fusion是(a,3, 4),以2为步长,就会得到时间序列上对应的4个输出,再在时间序列上长度为2,步长为2进行融合,得到时间序列上2个输出。在第三层才最终在时间序列上融合完毕。

修改网络结构以加速训练

这里写图片描述
将一帧输入,下采样得到低分辨率的一副图像,同时在原分辨率的基础上,以图像中心为中心,截取长宽分别为原长度1/2的图像。这样就把输入的维度成功降低。即把输入流转化为了对应两种分辨率的Fovea and context streams两个输入。再把他们当作full frame在同样的结构上进行训练。为了保持输出的维度不变,网络最后的pooling层去掉。
在最后的全连接层,拼接两个stream的输出。
减小参数,加入训练。

猜你喜欢

转载自blog.csdn.net/kmyfoer/article/details/80733362
今日推荐