深度学习——loss函数的学习笔记

1 loss的作用

在南溪看来，loss函数是对目标target和预测prediction之间的一种距离度量的公式；

2 loss函数的设计原则

2.1 自身不变性

自身不变性指的是：当 prediction = target时，loss函数的值为0；

3 备注

3.1 使用torch.log()前，需要进行clamp

在写作loss函数时，经常会使用torch.log()函数，例如计算交叉熵时；

在PyTorch中，在使用torch.log()前，记得需要进行clamp操作，

因为log()函数在0和负数的情况下，会出现不稳定的数值结果，

如图所示