度量学习的损失函数

一、什么是度量学习

度量学习和传统的表征学习不太一样,传统表征学习着重于分类问题,他计算的是概率。在度量学习中,他着重的是图片间的关系,计算的是图片的距离

常见的距离有:
欧式距离: d I 1 , I 2 = ∣ ∣ f I 1 − f I 2 ∣ ∣ 2 d_{I_1,I_2} = ||f_{I_1}-f_{I_2}||_2 dI1,I2=fI1fI22
余弦距离: d I 1 , I 2 = 1 − f I 1 − f I 2 ∣ ∣ f I 1 ∣ ∣ 2 ∣ ∣ f I 2 ∣ ∣ 2 d_{I_1,I_2} = 1 - \frac {f_{I_1}-f_{I_2}}{||f_{I_1}||_2||f_{I_2}||_2} dI1,I2=1fI12fI22fI1fI2

二、对比损失函数

y是我们的标签,标签用于判断两个图片是否相同,如果是正类我们后面那项就没有了,我们要使得两张图片的距离足够小,如果是负类,我们要使得两个距离足够大,但是不需要无限的大,只用大于α就可以了
L c = y d I a , I b 2 + ( 1 − y ) ( α − d I a , I b ) + 2 + L_{c}=y d_{I_{a}, I_{b}}^{2}+(1-y)\left(\alpha-d_{I_{a}, I_{b}}\right)_{+}^{2}+ Lc=ydIa,Ib2+(1y)(αdIa,Ib)+2+
其中:
d I 1 , I 2 = ∥ f I 1 − f I 2 ∥ 2 d_{I_{1}, I_{2}}=\left\|f_{I_{1}}-f_{I_{2}}\right\|_{2} dI1,I2=fI1fI22
( z ) + (z)_{+} (z)+ 表示 max ⁡ ( z , 0 ) \max (z, 0) max(z,0)

三、三元组损失

三元组损失由三张图构成,第一张是我们的训练图记为a,第二张是和他相同标签的图记为p,第三张是和他不同标签的图记为n, d a , p d_{a, p} da,p表示a与p之间的距离, d a , n d_{a, n} da,n表示a与n之间的距离
L t = ( d a , p − d a , n + α ) + L_{t}=\left(d_{a, p}-d_{a, n}+\alpha\right)_{+} Lt=(da,pda,n+α)+
为了使得损失函数最小,那么我们就有 d a , p + α < d a , n d_{a, p} + \alpha < d_{a, n} da,p+α<da,n这要求相似图片的距离要比不同图片的距离小α

四、改良三元组损失

改良三元组组成不变,损失函数变为
L i t = d a , p + ( d a , p − d a , n + α ) + L_{i} t=d_{a, p}+\left(d_{a, p}-d_{a, n}+\alpha\right)_{+} Lit=da,p+(da,pda,n+α)+
多了一个 d a , p d_{a, p} da,p在优化正负之间距离差距的同时,也优化了正样本之间的距离

五、四元组损失

四元组由一张训练图a,一张正样本p,两张负样本 n 1 n_1 n1, n 2 n_2 n2组成
L q = ( d a , p − d a , n 1 + α ) + + ( d a , p − d n 1 , n 2 + β ) + L_{q}=\left(d_{a, p}-d_{a, n 1}+\alpha\right)_{+}+\left(d_{a, p}-d_{n 1, n 2}+\beta\right)_{+} Lq=(da,pda,n1+α)++(da,pdn1,n2+β)+
+号前面就是三元组损失,后面的式子中, n 1 n_1 n1, n 2 n_2 n2也是不同的图片,于是也要推开他们之间的距离相当于这个函数优化了四个类别

六、TriHard loss

对于每一个训练的batch中挑选P个ID的行人,,每个行人,随机抽取K张不同的图片

对于batch中的每一张图片a,我们选择一个最难的正样本p和一个最难的负样本n和a组成一个三元组

然后计算损失函数
L t h = 1 P × K ∑ a ∈ b a t c h ( max ⁡ p ∈ A d a , p − min ⁡ n ∈ B d a , n + α ) + L_{t h}=\frac{1}{P \times K} \sum_{a \in b a t c h}\left(\max _{p \in A} d_{a, p}-\min _{n \in B} d_{a, n}+\alpha\right)_{+} Lth=P×K1abatch(pAmaxda,pnBminda,n+α)+

猜你喜欢

转载自blog.csdn.net/kiminoamae/article/details/108484686
今日推荐