关于熵

信息量

信息量表示事件的不确定性。一件事情发生的概率越大那么那么它的发生所带来的信息量越小，反之，一件事情发生的概率越小那么那么它的发生所带来的信息量越大。由于存在这种关系，我们可以表示一件事情发生所带来的信息量为-logP。

熵

熵是所有信息量的期望。

$$H(X) = -\displaystyle\sum_{i=1}^{n} p(x_i)logp(x_i)$$

条件熵
我们把H(X,Y) - H(X)即X，Y事件的熵减去X的熵，即在已知X的情况下所具有的熵即H(Y|X)条件熵。
由以上公式及 概率相关公式推导可得。

$$H(Y|X) = H(X,Y) - H(X) = -\displaystyle\sum_{i=1}^{n} p(X,Y)logp(Y|X)$$

信息增益
信息增益我们可以理解为互信息。

$$g(D|A) = H(D) - H(D|A)$$

增益率

基尼指数