2 Our Approach
和传统的光流网络不同，此网络使用3个输入，the frames at times t-1, t, and t+1，可以计算出(t,t+1)的前向光流场（forward flow
），和后向光流场(t-1,t)（backward flow）。在得到前向后向光流场之后，通过双向一致性检查(bi-directional consistency check
前向后向)来过滤异常值。这种滤除异常值的方法需要额外的计算光流场，也就是说(t,t+1),(t+1,t)的光流场都要被计算，这样可以使得我们识别出遮挡区域。基于滤除异常值之后，前向后向光流场都可以获得的区域，我们可以获得一个模型，此模型可以从后向光流场中推测出前向光流场。可以给我们额外的信息，这个额外的信息就是说在后向光流场中有光流的区域，而到了前向光流场中没有光流信息的区域。最后结合，以便在没有初始前向 光流的情况下也能正常工作。最后对预测inpaint以获得稠密光流场，在对此稠密光流场refine以提高精度。流程如下图
2.1 Initial Flow Estimation / Baseline
第一步，我们要获得前向后向的初始光流，也就是(t,t+1)，(t,t-1)时刻的光流。介于此，使用处理大位移光流的一般方法，匹配，异常值滤除，图像修补（inpainting获得稠密光流），变分优化。匹配这一项，使用coarse-to-fine PatchMatch，inpainting则使用robust interpolation technique (RIC) ，最后的改善，使用order-adaptive illumination-aware refinement (OIR) 。只有滤除异常值这一步没有发生变化，还是使用原来的方法（双向一致性检查）。
2.2 Outlier Filtering
在按照如上方法计算出初始流之后， 还要进行异常值检测，和计算初始流的方法类似。最后，在正向流场和反向流场中，只有在双向一致性检查中，(t,t+1)与（t+1,t）一致，才被认为是有效的。这种方法可以检测异常值，特别是遮挡区域
2.3 Learning a Motion Model
这一步任务为，学习一个motion model，用来找寻前向流场与后向流场之间的关系，使用这种关系，可以让我们根据后向流场，来预测前向流场中不能找到区域（比如说遮挡区域）的光流场。因为运动模式会随着场景的改变而改变，所以与
Training Data Extraction 模型所需要的训练数据是从刚刚经过异常值过滤之后的初始光流场中取出的（前向光流场，后向光流场）。只要前向光流场和后向光流场中的一个位置的光流值超过异常阀值（对应上文中的双向一致性检查），那么这个位置会被当成potential training samples。这些potential training samples是被均匀的抽样的，也就是说每10个像素点抽一个训练例子。。每一个potential training sample的输入为堆叠的7x7patches，堆叠的7x7patches内部包括 1.后向光流场的和
（这是两层），2a validity flag {0,1} indicating if the location surpassed outlier filtering step 3. 像素的x,y坐标（被normalize成[-1,1]，有两层）。potential training sample的输出为前向光流场的光流
和
。使用这种方法不需要光流的真实值。
CNN-based Regression 训练一个神经网络根据后向光流场来预测前向光流场，这个网络的输入为上一节的堆叠的7*7patches，网络的输出为输入中心处的光流（1x1）。因为输入量中不仅有 后向光流场的光流信息，还有对应的坐标信息，所以可以得到一个位置依赖模型（location dependent model ）。这方面特别重要，因为由于独立运动的物体、非刚性变形和透视效果，运动模式可能局部变化。loss函数的设计为：As loss function we minimize the absolute difference of the predicted flow vector and the
actual forward flow vector.
2.4 Combination and Final Estimation
组合之后，不是稠密的，所以要进行inpainting和refinement。
3 Experiments
Limitations
