论文笔记：SlowFast Networks for Video Recognition

灵魂三问：

作者想干什么？

提取视频信息
是怎么实现的？

通过分别低采样和高采样

低采样：提取空间语义(spacial sematics)

高采样：提取时域上的运动
实现了什么目标？

在动作识别以及检测都有很显著提升

测试集：Kinetics， Charades， AVA，

Intuition

在图片中， $I(x,y)$ 有各向同性（isotropic），那么视频信号中是否有呢？

空域和时域显然是不具备向同性的。

所以想法就是将空域和时域分开来处理。

基于这种想法就构建了两条通路，一条用来检测图片语义，使用低帧率。

. One pathway is designed to capture semantic information that can be given by images or a few sparse frames, and it operates at low frame rates and slow refreshing speed.

另一条用来检测移动，动作（motion）通过高帧率。

the
other pathway is responsible for capturing rapidly changing
motion, by operating at fast refreshing speed and high tem-
poral resolution.

两条网络在几个地方互相交融。

在这里插入图片描述

构造网络

慢速通道

可以是任何用来学习视频的模型，唯一特点是需要很大的采样步长（temporal stride） $\tau$ , 也就是说，每个时间范围内 $\tau$ , 采样一帧。

特别地，作者使用了 $\tau = 16$ ,在三十帧视频中每秒采样两帧。

慢速通道一共采样的帧数表示为 $T$ , 所以原片段0长度为 $\tau \times T$

快速通道

采样步长取 $\tau/\alpha$ ，使得 $\alpha > 1$

作者在实现时，没有使用任何降采样（down sampling）的层，包括时域的池化层，以及时域卷积层。使得特征卷积层永远是 $\alpha T$ 帧.

作者希望快速通道需要保留很高的视频分辨率，同时降低通道容量（channels capacity）

使快速通道的卷积通道数是慢速通道的 $\beta < 1$ 倍。

横向连接

两个通道都不知道对方的状况，所以作者使用了横向连接。

作者使用的是单向连接，如前图所示，使用双向连接也是相似的结果。

实现

在这里插入图片描述

慢速网络

慢速网络直接从 Christoph Feichtenhofer, Axel Pinz, and Richard Wildes. Spatiotemporal residual networks for video action recognition. 修改而来

快速网络

$\alpha = 8$ and $\beta = 1/8$

横向连接

在横向连接的时候特征张量的大小分别为慢速的 $\left\{T, S^{2}, C\right\}$ 和快速的 $\left\{\alpha T, S^{2}, \beta C\right\}$ , 为了做特征匹配，需要将两个张量化为相同形状，有三种实验方法：

Time-to-channel： We reshape and transpose ${αT , S 2 ,βC}$ into$ {T , S 2 , αβC}$ , meaning that we pack all α frames into the channels of one frame.
Time-strided sampling: We simply sample one out of
every α frames, so ${αT, S 2 , βC}$ becomes ${T, S 2 , βC}$ .
Time-strided convolution: We perform a $3 \mathrm{D}$ convolution of a $5 \times 1^{2}$ kernel with $2 \beta C$ output channels and stride $=\alpha .$