DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING

这个工作是中科院王强博士的工作,也是第一个将特征提取网络和协同滤波网络级联风闸UN赶到一起进行端到端训练的文献,在后续先后出现了CREST、CFNet、FlowNet with temporal and spatial atttention等。


1. 论文的意义

判别滤波器目前是在线目标跟踪领域非常主流的方法。当前的发展方向主要是:

  1. 在传统DCF基础之上进行多核等研究
  2. 融合深度学习,从最开始的训练深度特征提取器到目前的基于网络的end-to-end设计
  3. 更加细致的研究spatial-temporal regularization

王强博士这篇文章对理解end-to-end的DCF设计具有很好的参考意义。

在这片文章中,作者设计了如图一的轻量级的网络机构,同时完成卷积特征提取过程和在线协同滤波跟踪。特别之处在于,在一个孪生网络中Siamese network,作者将判别协同滤波器看陈特殊的协同滤波器层 special correlation layer, 王强博士也给出了详细的反向传播推导过程。因为推导仍然在傅里叶空间中进行,所以DCFNet保留了非常好的跟踪时效性(>60pfs)。

2.作者提出的网络框架

首先回顾了判别相关滤波器的基本原理,然后详细推导传播过程,最后作者介绍了在线跟踪过程,并从RNN的角度给出了一个合理的解释。

2.1. 判别式相关滤波器

在标准的判别式相关滤波器中,我们根据目标区域φ(x)∈M*N*D的特征 和 期待的高斯分布响应 y∈M*N训练一个判别式的回归函数。那么,期待的滤波器w可以通过最小化脊损失(ridge loss)获得:


☆代表循环相关,正是因为循环相关可以在傅里叶空间内进行快速运算,所以DCF才会具有非常高的时间性能。λ是正则化系数。

上面的公式可以求解,为:


^代表傅里叶空间,*代表复共轭,圈点代表hadamard product。

一旦我们构建好了滤波器就可以直接用于检测了,在后续过程只需要关注滤波器的跟新就好了(如何更新也是DCF研究的重点方向)。在检测过程中, 我们首先在新的一帧中剪裁寻找区域search patch, 然后提取这个patch的特征φ(z),通过定位滤波器的最大响应就可以估计目标在前后两帧的平移,具体为:


2.2 DCFNet 推导:反向传播过程

传统的基于DCF的跟踪器只能试探性的精修超参数,而本文提出的网络结构可以同时精修特征提取部分的超参数和DCF部分的超参数。就像图一的网络结构图所示,本文通过级联特征提取网络和DCF模块得到目标的位置响应。当给定搜索区域patch的特征φ(z), 目标响应~g应该在真实的目标位置得到一个更高的响应,所以目标函数可以设计为:


    

很明显,下面的公式是成立的:


因为前向通路的操作仅包含Hadamard乘积和除法,我们就可以按元素求偏导:


所以,检测阶段网络传播为:


学习阶段的网络传播为:



因为相关滤波层中的传播操作仍然是在傅里叶空间中进行的,我们可以保留DCF的快速跟踪特性。离线使用大量数据集进行测试,就可以得到一个功能定制的特征提取器为DCF在线跟踪。

2.3 在线模型更新:一种RNN的解释

在线跟踪过程中,我们只需要更新滤波器空间的傅里叶变换系数。所以传统的DCF优化问题可以写为一个增量模式:



同时,传统DCF的闭式解也可以拓展到时间序列:



增量更新的好处在于,我们不需要一个大的样本数据集,只需要很小的内存占用。作者也是把该该过程看成了一个RNN网络:


3.测试情况

特征提取层:VGG

训练视频:NUS-PRO、TempleColor 128、 UAV123;

作者研究了切除性影像ablation analysis 、尺度变换数量的作用



猜你喜欢

转载自blog.csdn.net/shenziheng1/article/details/80878290