交叉熵的理解

转载：https://blog.csdn.net/chaipp0607/article/details/73392175

交叉熵的原理

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则：

这个公式如何表征距离呢，举个例子： 
假设N=3，期望输出为p=(1,0,0)，实际输出q1=(0.5,0.2,0.3)，q2=(0.8,0.1,0.1)，那么：

很显然，q2与p更为接近，它的交叉熵也更小。 
除此之外，交叉熵还有另一种表达形式，还是使用上面的假设条件：

其结果为：