信息熵、条件熵、联合熵、互信息和条件互信息

---

---

1. 信息熵

信息熵是用于度量信息量大小的指标。

设 $X$ 是一个随机变量，则 $X$ 的信息熵定义为：

$$H(X)=-\sum _{x\in X}p(x)\log p(x)\text{\hspace{1em}(1)}$$

有时也写作：

$$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)$$

---

2. 联合熵

两个随机变量 $X$ 和 $Y$ 的联合熵定义为：

$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)\text{\hspace{1em}(2)}$$

---

3. 条件熵

设 $X$、$Y$ 是随机变量，条件熵 $H(Y|X)$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。
条件熵 $H(Y|X)$ 定义为 $X$ 给定条件下 $Y$ 的条件概率分布的熵对 $X$ 的数学期望：

$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =-\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log p(y|x)\end{array}\text{\hspace{1em}(3)}$$

还有一个推导公式：

$$H(Y|X)=H(X,Y)-H(X)$$

证明

$$\begin{array}{rl}H(Y|X)& =-\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log p(y|x)\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x)p(y|x)\log p(y|x)\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \frac{p(x,y)}{p(x)}\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x,y)[\log p(x,y)-\log p(x)]\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)-[-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x)]\\ & =H(X,Y)-[-\sum _{x\in X}p(x)\log p(x)]\\ & =H(X,Y)-H(X).\end{array}$$

得证。

---

4. 互信息

在已知了 $Y$ 之后，$X$ 的熵减少的量，称为 $X$ 和 $Y$ 之间的互信息，定义为：

$$\begin{array}{r}I(X;Y)=\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)\end{array}\text{\hspace{1em}(4)}$$

实际上，还有一个推导公式：

$$I(X;Y)=I(Y;X)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)$$

证明

$$\begin{array}{rl}I(X;Y)& =\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)\\ & =-\sum _{x\in X}p(x)\log p(x)-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(y)+\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)\\ & =H(X)-\sum _{y\in Y}p(y)\log p(y)-[-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)]\\ & =H(X)-H(X,Y)+H(Y)\\ & =H(X)+H(Y)-H(X,Y).\end{array}$$

---

5. 条件互信息

假设 $Z$ 是已知的，在知道 $Z$ 的情况下，$X$ 和 $Y$ 的互信息称为条件互信息，定义为：

$$I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p(x,y,z)\log \frac{p(z)p(x,y,z)}{p(x,z)p(y,z)}\text{\hspace{1em}(5)}$$

实际上，有推导公式：

$$I(X;Y|Z)=I(X;Y,Z)-I(X;Z)$$

---

---

6. 参考文章

1. 信息熵及其相关概念
2. Lin Y, Hu Q, Liu J, et al. Multi-label feature selection based on max-dependency and min-redundancy[J]. Neurocomputing, 2015, 168: 92-103.
3. 机器学习特征选择之卡方检验与互信息
4. Conditional mutual information 条件互信息

---