损失函数进阶-应用和trick

常见的损失函数，如交叉熵损失、平方误差损失、Hinge损失等并不是本文的重点，关于这些损失函数的介绍网上很多，可以参考如下几篇文章

• 机器学习中的 7 大损失函数实战总结
• 常见的损失函数(loss function)总结
• 机器学习算法及其损失函数
• 损失函数loss大大总结

本文的重点在于总结损失函数在应用上的一些trick和技巧

损失函数总结-应用和trick - 知乎

如何选择合适的损失函数，请看...... - 知乎

(23 封私信 / 99+ 条消息) 机器学习中的目标函数、损失函数、代价函数有什么区别？ - 知乎

上面的损失函数仅仅是对于一个样本来说的。而我们的优化目标函数应当是使全局损失函数最小。因此，全局损失函数往往是每个样本的损失函数之和，即：