二元交叉熵

二元交叉熵损失函数常被用来处理二分类问题，公式如下：

yi是标签1或0，即二分类的是或不是，p(yi)可以理解为对应真实标签yi的预测标签值。

就单个样本来说，

1. yi=1时，loss= -logp(1)，如果p(yi)接近1时，loss→0；接近0时，loss→∞
2. yi=0时，loss= -log[1-p(0)]，如果p(yi)接近0时，loss→0；接近1时，loss→∞

可以发现：预测标签与真实标签越接近，loss越小；反之loss越大。
这个特性对模型的训练是非常友好的。