信息增益的计算

信息增益有的也成为信息获取量(Information Gain)。
这里主要介绍在决策树中的使用。
$Gain(A) = Infor(D) - Infor\_A(D)$

这里以特征A为例，特征A的信息增益计算方式如下：

• 计算整个信息(就是计算是否买电脑)的熵：
  $Infor(D) = - (\frac{9}{{14}}{\log _2}(\frac{9}{{14}}) + \frac{5}{{14}}{\log _2}(\frac{5}{{14}})) = 0.94bits$
• 计算依照年龄分类时购买电脑的熵：
  $Info{r_{age}}(D) = \frac{5}{{14}} \times ( - \frac{2}{5}{\log _2}\frac{2}{5} - \frac{3}{5}{\log _2}\frac{3}{5}) + \cdots + \frac{5}{{14}}( - \frac{3}{5}{\log _2}\frac{3}{5} - \frac{2}{5}{\log _2}\frac{2}{5}) = 0.694bits$
• 按照公式计算：
  $Gain(age) = Infor(D) - Info{r_{age}}(D) = 0.94 - 0.694 = 0.246bits$