1. L1 Loss（Mean Absolute Error，MAE）
平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。
MAE公式：
MAE导数：
MAE图像：
上图为平均绝对误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。
主要问题：
导数为常数，在 Loss 函数最小值处容易震荡，导致难以收敛到最优值。
2. L2 Loss（Mean Squared Error，MSE）
均方误差（MSE）是最常用的回归损失函数，它是目标变量和预测值的差值平方和。
MSE公式：
MSE导数：
MSE图像：
上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。
主要问题：
导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小， 训练速度变得越来越慢。
3. Smooth L1 Loss
从损失函数对 x 的导数可知，L1 损失函数对 x 的导数为常数，在训练后期，x 很小时， 如果学习率不变，损失函数会在最优值附近波动，很难收敛到最高的精度。L2 损失对 x 的 导数在 x 值很大时，其导数也非常大，在训练初期不稳定。Smooth L1 Loss 结合了 L1 和 L2 的优点：早期使用 L1，梯度稳定，快速收敛，后期使用 L2，逐渐收敛到最优解。
公式：
导数：
图像：
● 三者对比
由上图可以看出，Smooth L1 Loss 结合了 L1 和 L2 的优点：早期使用 L1，梯度稳定，快速收敛，后期使用 L2，逐渐收敛到最优解。