版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yunxinan/article/details/88550114
模型损失函数
1、focal loss（焦点损失）
2、skrinkage loss（收敛损失）
3、lossless Triplet loss一种高效的siamese网络损失函数
4、Repulsion loss
5、sample can be faster Than Optimization采用可以比优化更快收敛
MSE均方误差损失函数
SVM合页损失函数
Cross Entropy交叉熵损失函数
目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题：
ESM均方误差+Sigmoid激活函数会导致学习缓慢；Smooth L1损失是为了解决梯度爆炸问题
均方差损失函数
ESM均方误差+Sigmoid
交叉损失
svm合页损失
Smooth L1损失
第一，采用sigmoid等函数，算激活函数是（指数运算），计算量大；反向传播求误差梯度时，求导涉及除法，计算量相对大。而采用Relu激活函数，整个过程的计算量节省很多。
第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0），这种情况会造成信息丢失，梯度消失在网络层数多的时候尤其明显，从而无法完成深层网络的训练。
第三，ReLU会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。