【深度学习】各领域常用的损失函数汇总（2024最新版）

以下是一些常用的损失函数，可根据不同的应用场景进行选择和组合：

适用于回归任务，L1 损失计算预测值与真实值之间差的绝对值，对异常值不那么敏感。

$L 1=\frac{1}{N} \sum_{i=1}^N\left|y_i-\hat{y}_i\right|$

其中， $N$ 是样本数量， $y_i$ 是第 $i$ 个样本的真实值， $\hat{y}_i$ 是第 $i$ 个样本的预测值。

L1 损失 更适合处理异常值，因为它不会像 L2 损失那样对较大的误差赋予过高的惩罚。

适用于回归任务，L2 损失计算预测值与真实值之差的平方，适用于输出连续值的任务。

$L 2=\frac{1}{N} \sum_{i=1}^N\left(y_i-\hat{y}_i\right)^2$

其中， $N$ 是样本数量， $y_i$ 是第 $i$ 个样本的真实值， $\hat{y}_i$ 是第 $i$ 个样本的预测值。

L2 损失 通常会导致模型在预测时试图最小化所有样本误差的平方和，这可能导致模型对异常值过于敏感。

这张图展示了 L1 损失（绝对误差损失）和 L2 损失（均方误差损失）随预测误差变化的情况：

L1 损失 在误差为零的地方形成了一个角点，其余部分是线性的。

L2 损失 在误差为零时更加平滑，但随着误差的增大，损失的增速比 L1 损失快得多。

所以 L1 损失对于大误差的惩罚相对较小，而 L2 损失对于大误差的惩罚更为严厉。

适用于分类任务，对于二分类问题，可以使用二元交叉熵（Binary Cross-Entropy），又称作对数损失；

$L(y, \hat{y})=-\frac{1}{N} \sum_{i=1}^N\left[y_i \log \left(\hat{y}_i\right)+\left(1-y_i\right) \log \left(1-\hat{y}_i\right)\right]$

其中 $L$ 是损失函数， $N$ 是样本的数量， $y_i$ 是第 $i$ 个样本的真实标签（0或1）， $\hat{y}_i$ 是第 $i$ 个样本的预测概率。

对于多分类问题，使用多类别交叉熵（Categorical Cross-Entropy）。

在某些情况下，你可能需要结合多种损失函数。例如，在一个多任务学习场景中，你可以将 MSE 用于回归任务的输出，同时将交叉熵用于分类任务的输出。

在图像分割任务中常用，尤其是当类别不平衡时。这些损失函数关注预测区域与真实区域的重叠程度。

在使用生成对抗网络（GANs）的应用中常见，例如风格转换或图像生成任务。

在度量学习和某些类型的嵌入学习中使用，特别是在需要学习输入之间关系的场景中。

在实际应用中，可以根据任务的具体需求和网络的输出特性，选择合适的损失函数，甚至可以设计自定义的损失函数以更好地适应特定的应用场景。同时，还可以对不同输出的损失进行加权，以反映不同任务的重要性。