相对熵——KL散度

相对熵——KL散度

相对熵又被成为KL散度，或信息散度，用来度量两个概率分布间的非对称性差异，在信息论中KL相对熵等于两个概率分布的信息熵的差值。

相对熵的公式

设$P(x)、Q(x)$是离散随机变量$X$中取值$x$的两个概率分布函数，它们的结果分别为$p$和$q$，则$p$对$q$的相对熵如下：
$$D_{KL}=\sum _{x\in X}P(x)log\frac{P(x)}{Q(x)}=E_p\left[log\frac{dP(x)}{dQ(x)}\right]$$
由该式可知当两个分布相同时，相对熵为0并且相对熵具有不对称性。

相对熵与交叉熵之间的关系

将上式中的对数部分展开，可以看到相对熵与绝对熵之间的关系：
$$\begin{gathered} D_{KL}(p||q)=\sum _{x\in X}P(x)logP(x)+\sum _{x\in X}P(x)log\frac{1}{Q(x)} \\ =-H(p)+H_{cross}(p,q) \\ =H_{cross}(p,q)-H(p) \end{gathered}$$
相对熵是交叉熵中去掉熵的部分。