http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_MiCT_Mixed_3D2D_CVPR_2018_paper.pdf
本文考虑到在识别人体动作的时候，3D CNN的水平不及2D CNN在识别静态图片时的水平，认为这是由于3D CNN消耗的计算资源和存储资源过大导致不能很好的训练，因此在本文中提出了一个2D和3D CNN结合的模型进行动作识别。
摘要：首先介绍背景，即目前有人探索使用3D CNN进行动作识别。接着就指出当前方法的不足，就是说3D CNN在处理视频的时候，达到的水准并不及CNN在处理2D静态图片时达到的水准。接着进行了简要的分析分析原因以便引出自己的模型。原因的分析是3D卷积所需要的spatio-temporal fusion带来的训练复杂度以及所需的存储消耗限制了3D CNN的表现。接着引出本文的模型，将2D和3D CNN混合得到的mixed convolutional tube（MiCT），这个模型将2D3D CNN结合起来，以便生成更深的且更加informative的feature map，并同时减少每一轮spatio-temporal fusion的训练复杂度。这种模块堆叠在一起还能形成新的端到端的深度网络MiCT-Net，用来探索人体动作中的spatio-temporal信息。最后作者介绍了一下实验结果，在一些数据集上取得了state-of-the-art的结果。
技术部分，本文提出了两种混合2D和3D卷积的方式，concatenating connections和cross-domain residual connections。首先，下图是使用了2D3D concatenated connection的模型的示意图：
用数学语言来描述的话，在t时刻的feature map表示为
其中
cross-domain residual connection的模型示意图如下所示：
这里的cross-domain residual指的是添加的residual不是普通意义上的直接将输入加到卷积后的结果上，而是将输入先用2D卷积处理一下，再添加到3D卷积的输出上，称之为cross-domain residual，数学描述如下
这里o指的就是3D卷积的输出结果，而H和之前一样指的是2D卷积，
最终作者还将这两种connection合起来形成一个MiCT模型，如下图所示
这个模型前面用了residual的，后面又加了一层2D卷积，像concatenate connection的。
进行实验的时候，作者用四个这种MiCT模块搭建了深度网络，网络用端到端的方式训练，整个网络就只有4层3D卷积，大大减少了训练的复杂度。具体来讲整个网络如下图所示
具体每一层的参数如下表
这里面2D网络用的是别人提出来的inception block，如下图所示
采取不同的卷积，然后将结果合并在一起。模型中的2D卷积层可以使用在大的image dataset上训练好的参数，作为一个很好的初始化，这也增加了模型的能力。
本文的实验部分做的并不是很复杂，但是也算丰富，首先是对比了MiCT网络和基础的3D CNN的表现，然后是和其他state-of-the-art的方法的对比，这个对比进行了两项，一个是直接的对比，另一个是和一些two-stream的模型对比（MiCT也设置成2stream的），最后，文章对模型进行了一下可视化，指出模型能够适应不同速度的action，具有不错的能力。
总结一下本文的模型，我认为本文的模型主要的贡献是cross-domain residual connection的这个操作，通过sample一些frames进行2D卷积，结合3D卷积，大大减少了模型的复杂度，并且使得很多冗余数据不需要再去学习。