交叉熵和相对熵(KL散度)

说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为$D_{KL}(p||q)$

$$\begin{split}D_{KL}(p||q) &= \sum_{x \in X} p(x) log \frac{p(x)}{q(x)} \\& =\sum_{x \in X}p(x)log \ p(x) - \sum_{x \in X}p(x)log \ q(x) \\& =-H(p) - \sum_{x \in X}p(x)log\ q(x)\end{split}$$

这里$H(p)$是$p$的熵。

假设有两个分布p和q，它们在给定样本集上的交叉熵定义为：

$CE(p, q) = -\sum_{x \in X}p(x)log\ q(x) = H(p) + D_{KL}(p||q)$

从这里可以看出，交叉熵和相对熵相差了$H(p)$，而当$p$已知的时候，$H(p)$是个常数，所以交叉熵和相对熵在这里是等价的，反映了分布$p$和$q$之间的相似程度。