交叉熵、(KL散度)相对熵、互信息

交叉熵：

为了方便记忆，可以联想交叉熵损失函数。

相对熵(KL散度)：

 

互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：

且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：