论文：用于视频超分的循环反向投影网络
文章检索出处： 2019 CVPR
摘要和简介
针对视频超分辨率问题，我们提出了一种新颖的体系结构。 使用循环编码器/解码器模块将连续视频帧的空间和时间上下文进行整合，该模块将多帧信息与目标帧的单帧超分网络融合在一起。 与大多数以前通过堆叠或扭曲将帧合并在一起的工作不同，我们的模型是循环反向投影网络(RBPN)，将每个上下文帧视为单独的信息源。
这些源组合在一个迭代的框架中，该框架受多图超分中反投影概念的启发。通过显式表示相对于目标的估计帧间运动，而不是显式对齐帧。 我们提出了一个新的视频超分基准，可以进行更大范围的评估并考虑不同运动方式下的视频。 实验结果表明，我们的RBPN在多个数据集上均优于现有方法。
循环反向投影网络
网络结构
RBPN的工作可分为三个阶段：初始特征提取、多次投影和重建。
初始特征提取：在输入 I t I_t It进入投影模块之前，将其映射为LR特征 L t L_t Lt。对于每个相邻帧 I t − k I_{t-k} It−k，将其与预先计算的 I t I_t It和 I t − k I_{t-k} It−k的密集运动流图 F t − k F_{t-k} Ft−k和 I t I_{t} It一起串联起来。然后将这个8个通道的图像映射到邻居特征张量 M t − k M_{t-k} Mt−k。
多次投影： 在这里，我们通过集成SISR和MISR来提取目标帧中的缺失细节，然后生成精炼的HR特征张量。 该阶段接收 I t − k − 1 I_{t-k-1} It−k−1和 M t − k M_{t-k} Mt−k，并输出HR特征张量 H t − k H_{t-k} Ht−k。
重建：将所有的特征图串联馈入到重构模块中。 S R t = f r e c ( [ H t − 1 , H t − 2 , . . . , H t − n ] ) {SR}_t = f_{rec}([H_{t-1},H_{t-2},...,H_{t-n}]) SRt=frec([Ht−1,Ht−2,...,Ht−n])，其中 f r e c f_{rec} frec为单卷积层。
多次投影
RBPN的多重投影阶段使用编码器/解码器模块的循环链。跨时间帧共享的投影模块有两个输入： L t − n − 1 ∈ R M l x N l x C l L_{t-n-1} \in \mathbb{R}^{M^l \mathsf{x} N^l \mathsf{x} C^l } Lt−n−1∈RMlxNlxCl和 M t − n ∈ R M l x N l x C m M_{t-n} \in \mathbb{R}^{M^l \mathsf{x} N^l \mathsf{x} C^m } Mt−n∈RMlxNlxCm，然后产生两个输出： L t − n L_{t-n} Lt−n和 H t − n ∈ R M h x N h x C h H_{t-n} \in \mathbb{R}^{M^h \mathsf{x} N^h \mathsf{x} C^h } Ht−n∈RMhxNhxCh其中 c l , c m , c h c^l,c^m,c^h cl,cm,ch是相应图的通道数。
编码器会产生从投影到特定邻居帧的估计HR特征的隐藏状态。
解码器解密相应的隐藏状态，作为编码器模块的下一个输入。
实验
baseline:
消融实验：
量化评估：
仅供学习使用，请勿转载。