摘要
视频运动目标分割(MOS)是一项高要求的任务，适用于自动户外视频监控等安全应用场景。现有的MOS算法大多都依赖于在测试序列的第一帧或复杂的训练过程中微调模型，从而限制了算法的实际应用能力。本文提出了基于相关学习的边缘提取机制EEM和密集残块DRB的识别前景表示方法。多尺度EEM通过后续尺度的跳跃连接，将有效的前景边缘相关信息借助编码器提供给解码器。此外，光流编码器流和最后一个EEM模块的响应被嵌入到桥接网络中。桥接网络由多尺度密集连接的残块组成，学习前景相关特征。最后，为了生成准确和一致的GT目标图，提出了一个解码器块，该解码器块从各个多尺度EEM模块的特征图和之前帧输出的下采样响应进行跳跃连接。具体来说，所提出的网络不需要任何预先训练的模型，也不需要使用测试视频的初始帧对参数进行微调。
Introduction
本文提出的MOS框架的主要目的是设计一种模型，它不依赖于用测试序列的第一帧对预训练模型进行微调。此外，考虑系统复杂性以获得更实际的可用性，即系统应该是简单、快速、端到端和强大的。为了实现这一目标，本文提出了一种基于边缘提取机制和密集残差块的多帧多尺度编码器-解码器学习网络。在编解码网络中，一个非常重要的步骤是如何以一种有意义的方式将像素级多尺度编码器特征与各自的解码器的各个尺度像连接。同时，在设计网络的同时滤波器的大小对特定任务的选择起着重要的作用。为此，提出 一种固有的基于相关学习的边缘提取机制。此外，将前一帧的预测输出与后一帧的尺度相结合，在解码器中提供当前帧与前一阵的一致批评你，用于识别前景表示的学习。
主要贡献
- 提出了一种端到端的多帧多尺度编-解码对抗学习网络，用于移动对象分割
- 提出了一种新的边缘提取机制EEM，通过跳跃连接将多帧像素级多尺度编码器特征与各自的解码器特征相结合。
- 提出了一个具有密集残差块的桥接网络，嵌入到光流编码器流中提取的运动特征和上一个EEM模块的特征映射
- 在4个基准视频数据库上，采用分离、全局和交叉数据训练测试，验证了所提出方法的有效性，并与现有方法进行了比较。
系统框架
MOS任务中有连个主要的挑战
首先，将前景物体与背景分离。基于不同前景-背景的假设，提出了一种用于MOS的多帧多尺度编-解码器网络。该网络以视频帧和光流作为输入们学习连续三帧的多尺度编码器特征之间的内在相关性，由于多帧编码器给出了前景-背景概率图，，因此需要学习多帧多尺度编码器的特征，并以有效的方式传递到解码器网络中。为此，本文提出了基于相关学习的多帧多尺度边缘提取机制。此外，最后一个EEM模块和来自光流编码器流的编码特征使用桥接网络融合。
其次，在视频帧中对前景对象进行一致的分割。基于前一帧前景对象与当前帧的偏差不大的假设，利用各自尺度的前一帧输出估计来指导解码器网络进行前景特征的判别。图2给出了网络的详细可视化图。
多帧多尺度编码器
该方法时使用RGB视频帧和提取的光流作为输入。这里使用基于多帧的编码器来获得与前景相关的多尺度边缘信息，即三帧被送给三个不同的编码器流。编码器流的每一个块有两个核大小为33和77的滤波器和一个ReLu组成，用于提取像素级多尺度特征。对帧(t-1,t,t+1)之间的估计光流被送入第四个编码器流以学习运动特征。为了更好的显示，将光流看作HSV表示。其中，色调和饱和度分别表示运动方向及其运动幅度。本文中，只考虑幅度并增加三个来得到三通道的图像。针对光流流特征与外观流特征早期或晚期融合效果不佳的问题，提出了一种基于光流编码流的运动特征与EEM模块特征的中期融合方法。如图2所示。
边缘提取机制模块EEM
由于编码器给出了前景-背景概率映射，因此需要有效地学习具有多尺度特征的多帧编码器之间的内在相关性。为此，提出了基于学习的边缘提取机制(EEM)模块。这里，在编码器网络的各个尺度上应用EEM模块，专注于前景相关特征的学习，忽略背景区域。首先，在编码器的一个尺度特征和另一个编码器的另一个尺度特征之间进行像素减法。所有减去的特征被连接起来以得到特定编码器水平的整体响应。
桥接网络
构造桥接网络，将光流编码器流中的运动特征嵌入到编码器的最后一个EEM模块特征中。用于自动视频应用的方法需要处理大量的数据进行训练。更深层次网络的训练存在梯度消失问题。为了克服这些限制，提出了密集连接的多尺度残留块，即密集残差块(DRB)，用于学习与前景相关的显著特征。
前景预测
采用简单掩码传播方法，即使用前一帧的预测输出，以各自的尺度指导后续解码器层，以提高所提出的网络对系统前景分割的能力。将各自EEM模块的相关特征，连同桥接网络特征和后续尺度的前一帧输出，交给解码器网络进行最终前景分割。
损失函数
实验
