损失函数解释

 

　　损失函数是一种度量标准，对于真实的训练输出 y 和预测输出 ŷ，它决定一个机器学习算法表现的多好或多坏。

　　如果是线性回归的话，平方根误差和会被用在损失函数中，这通常在凸优化中表现的较好。但是，在一些分类案例中，曲线是非凸优化的，此时，使用交叉熵损失会更好。对于第i个输入数据，交叉熵损失函数是，C代表的是不同的输出种类。对于整个输入数据，损失函数就是平均交叉熵损失。