深度学习之损失函数

1.Softmax + Cross Entropy Loss(交叉熵)(加入交叉熵的原因是考虑到数值的稳定性)

损失函数:

适应场景:单标签分类问题

该损失函数各个标签之间不独立

2.Sigmoid Cross Entropy Loss

损失函数:

L维多标签场景的损失函数为:

使用场景:预测目标概率分布,可用于多标签学习(如社会年龄估计)

注意:1.目标输出需要归一化到【0,1】;损失层的输出要有具体的意义;各个标签之间相互独立即每一维是独立的。

3.Euclidean Loss(欧氏损失)

损失函数:

适用场景:实数值回归问题

注意:欧氏损失前可以增加Sigmoid操作进行归一化,相应的输出标签也归一化。

4.Contrastive Loss(Siamess Net)

损失函数:

适用场景:人脸测度学习

5.Center loss(softMax的一种改进)

6.Triplet Loss

适用场景:learning to rank ;人脸识别(FaceNet)

7.Moon Loss

Basic Idea:考虑多标签分类中训练和测试阶段样本分布的不平衡

对每个属性计算概率:

混合损失函数:

8.Focal Loss

Basic Idea:用一个权重条件函数去降低易分样本对损失的贡献

解决方案:

适用场景:解决one-stage的目标检测中背景样本和前景样本的不平衡问题

9.Large-Margin Loss(softmax的改进)

Basic Idea:在SoftMax Loss中通过约束权重矩阵的夹角引入Margin正则

参考视频:https://study.163.com/course/courseLearn.htm?courseId=1005023019#/learn/video?lessonId=1051311824&courseId=1005023019

猜你喜欢

转载自blog.csdn.net/weixin_42113955/article/details/85721456
今日推荐