损失函数-均方误差&交叉熵

均方差误差：

 

 交叉熵 

二分类交叉熵

 表达式中log的底数是e

yi 表示样本 i 的label  正为1，负为0

pi 表示样本 i 的预测概率

多分类交叉熵

 M:表示类别的数量

yic:符号函数（0或者1），如果样本 i 的真实类别等于C取1，否则取0

pic:样本 i 所属类别的C的预测概率。

总结：

我们用神经网络最后一层输出的情况，来看一眼整个模型预测、获得损失和学习的流程：

1. 神经网络最后一层得到每个类别的得分scores（也叫logits）；
2. 该得分经过sigmoid(或softmax)函数获得概率输出；
3. 模型预测的类别概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。

参考

https://zhuanlan.zhihu.com/p/35709485