目录
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
主要目标
为目标跟踪算法增加目标分割功能。实现过程主要是在以孪生网络(Siamese)为基础的跟踪网络中增加Mask分支。
摘要
提出一个能完成目标跟踪和目标分割的实时方法,称为SiamMask。训练好之后,网络只需一个初始化的框框出目标位置,就可以给出目标跟踪信息和与类无关的掩码。尽管方法简单,但提高了速度,增加了功能。
引言
略
网络结构
作者在SiamFC和SiamRPN基础上分别加上目标分割分支网络,形成两分支和三分支的SiamMask网络。
左边是共享权值的孪生网络,在对模板(上分支网络)和搜索区域(下分支网络输入)特征提取后,进行卷积生成RoW(响应图,可以说明与模板最相似的区域)。
右边是三个分支网络。目标分割网络,边框回归网络,前背景分类网络。分割网络只对score最高的box进行分割。
损失函数
3.1 mask分支的损失函数
#$
:n个Row
:Row的标签,在训练的时候只使用为1的Row
:第n个Row中像素(i,j)对应的掩码标签。
:分割网络预测结果
3.2 SiamMask网络总损失函数
多个分支网络损失加权求和
实验结果
4.1 VOT-2016结果
4.2 DAVIS-2016上速度比较
分割网络结构
5.1 网络
下面两行是孪生网络进行特征提取,选择score最高的区域框来分割。经过反卷积并结合高级特征得到目标分割掩码。图中U2,U3,U4是掩码改良模块。