摘要
本文提出一种DJDL模型,使用deep CNN,能够结合多种不同的任务:车辆身份识别,属性识别,车牌认证,triplet三元组任务。整个网络通过一种特殊的batch组成联合优化。
1.介绍
车辆身份识别和属性识别主要关注个体样例,挖掘它们独有的特性。
认证任务主要是为了限制两个样例之间的关系。(如果是同一身份,最小化距离)。
triplet三元组任务主要是为了限制三个输入样例的相对距离。
同时提出了一种有效的batch组成,联合优化四个目标函数。
2.深度联合判别学习(方法)
网络架构如上图所示
2.1网络架构
基础网络是一个deep CNN,如Iception-BN,VGG,Resnet.在imagenet上预训练。
Verification输入2个图像,Triplet输入3个图像,
Identification,Attribute recognition输入1个图像。
使用同一个Deep CNN进行特征抽取。
2.2 身份和属性识别
通过L2正则化层进行特征抽取,再加入一层m*n的(m代表特征维度,n代表训练身份数量)全连接层来完成Identification,Attribute recognition两个任务。对于卷积识别(recognition)方法,使用如下softmax loss(对于identifiication子网络):
对于属性识别子网络,使用如下标准softmax loss:
2.3 认证(verification)和triplet losses(三元组损失)
(为了进一步提高学习的深度外观特征的表现,我们增加了这两个有判别力的方法)
认证网络是pair-wise siamese网络。输入两个特征向量fi,fj。然后根据标签计算相似度。在正则化后,使用欧氏距离衡量相似度。损失函数如下:
α是幅度参数,使不同身份的图片之间的距离远大于α(???)。
Triplet子网络每次输入三个图像,verification限制的是绝对距离,而triplet限制的则是身份之间的相对距离。目标图像和positive图像(相同身份)的距离较小,和negative图像的距离较大。
β是幅度参数,使得图像与positive图像的距离和negative图像的距离远大于β。
2.4 训练及优化
如何联合优化四个loss函数,在每一个训练batch中?尤其是verification和triplet loss?
方法:(没有看懂!之后补充)
3.实验
3.1 实现细节
罗列参数(略)。
使用Flann库实现最邻近搜索算法,可以加速检索过程。
3.2 车辆检索(指标:MAP)
3.3 车辆重识别(指标:CMC curve&&TOP 1/TOP 5匹配率)
注释:
几个基本评测指标:
1.MAP:均值平均精度
2.CMC curve:累计匹配曲线。
3.HIT@1,HIT@5:TOP1命中率,TOP5命中率