论文题目：End-to-end representation learning for Correlation Filter based tracking, CVPR2017
论文主页：http://www.robots.ox.ac.uk/~luca/cfnet.html
源码链接：https://github.com/bertinetto/cfnet
相关推导：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox （非常详细）
1. 论文摘要、贡献
图一：CFNet整体架构。非对称的孪生网络，非对称部分是由于correlation filter部分引起的，作者是想把cf引入到神经网络中，从而能够实现end-to-end优化。training images和testing images首先都经过相同的卷积特征提取网络提取特征，其中training images提取出来的卷积特征进而通过correlation filter得到线性模板，这个线性模板将通过与testing images的特征图进行交叉相关进而得到目标定位的响应图。
相关滤波器通过训练一个线性模板从而可以判别frame-frame之间目标的平移。由于该方法在傅里叶空间中存在快速解以及detector可以通过每一帧图像进行实时的更新。先前的工作主要是融合手工设计的特征和特定任务下卷积特征到DCF跟踪框架中。作者首先提出了将CF改写成可微分的神经网络层，进而和特征提取网络整合到一起从而实现end-to-end的优化。这样，提取到的卷积特征就精密耦合到相关滤波器中。本文的最大亮点在于采用轻量级的架构却实现了state-of-the-art的结果。
原始的全卷积孪生神经网络仅仅考虑到了跟踪帧与初始帧的匹配，并没有跟踪模型跟踪过程。相比之下，作者每一帧都会计算一个新的模板，并且和之前的模板进行线性组合。然而在深度特征情况下，该方法并没有足够收益，作者对他的解释是因为深度卷积网络的特征表达很强，CF神经网络层仅相当于网络结构层的一部分。
2.CFNet数学原理
2.1 Fully-convolutional Siamese networks
x`代表利用卷积神经网络输出样本的特征图像；
z`代表可用卷积神经网络输出搜索区域的特征图像；
fp()代表卷积网络进行特征提取操作； ☆代表交叉相关操作；
SiameseFC实际上就是利用强特征进行最佳匹配跟踪的方法。
2.2 Correlation Filter networks
本文作者是在SiameseFC基础之上提出的CFNet，主要就是融入了correlation filter神经网络层。其公式表达如下：
1. w=w(*) 可以通过在傅里叶空间中解脊回归，从训练的特征图x=f(x`)中计算到标准的CF模板。这个效果可以理解为制作一个对平移鲁棒的特征。
2. 标量参数s and b分别代表尺度和偏移量，效益是为了使得分数范围适用于Logistic regression。
3. 离线的训练和SiameseFC一致
Note：
1.作者探究目标区域越大，跟踪算法的性能越好。所以作者采用255*255的目标拓展区域，通过CNN特征提取后，特征图大小为49*49*32， channel=32是为了保证算法的跟踪速度。经过CF层级处理后，进行裁剪得到目标模板17*17*32.
2.为了减小循环边界效应，作者采用了余弦窗函数处理特征图x=f(x`)。
关于反向传播的证明参考越野者的博客：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox
3.实验
应用上的一些区别：
3.1 作者采用的基线算法与原文是不一样的。首先是目标提取的尺寸，本文作者采用了很大的外延拓展达到了255*255；此外，在空间分辨率降采样方面，SiameseFC采用stride=8； CFNet采用stride=4；主要是为了避免使用较小的特征图训练correlation filter。
3.2 做着卷积特征网络最后一层输出了32个通道，主要为了权衡在线跟踪实时更新过程中，保证跟踪的速度。
此图证明了CFNet并没有因为特征网络更深而表现出性能更好。此外，当特征提取网络达到5层情况下，CFNet的跟踪效果与基线算法SIamsesFC具有相似的精度，因此CFNet的优势应该表现在浅层网络上，即作者谈到的light-architecture。
此图证明了，跟踪器模板在线更新是有意义的。实线表示模板更新率为0.01，点画线没有模板更新过程。这个结论与SiamsesFC的结论刚好相反。SiamsesFC作者认为，采用滑动平均在线更新模板并没有得到较好的性能收益