【机器学习】决策树（三）——生成算法（ID3、C4.5与CRAT）

回顾

前面我们介绍了决策树的特征选择，以及根据信息增益构建决策树。

那么决策树的生成又有哪些经典算法呢？本篇将主要介绍ID3的生成算法，然后介绍C4.5中的生成算法。最后简单介绍CRAT算法。

ID3算法

前面我们提到，一般而言，信息增益越大，则意味着使用该属性来进行划分所获得的“纯度”提升就越大。因此，我们可以用信息增益来进行决策树的划分属性选择。著名的ID3决策树学习算法就是以信息增益为准则来划属性的。

ID3算法流程
输入：训练数据集 $D$ ，特征集 $A$ ，阀值 $\mathcal{E}$
输出：决策树 $T$
（1）若 $D$ 中所属实例属于同一类 $C_k$ ，则T为单结点树，并将类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（2）若 $A = \phi$ ，则 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（3）否则，按照计算 $A$ 中每个特征对 $D$ 的信息增益，选择信息增益最大的特征 $A_m$ ；
（4）如果 $A_m$ 的信息增益小于阀值 $\mathcal{E}$ ，则置 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（5）否则，对 $A_m$ 的每一种可能值 $a_i$ ，依 $A_m=a_i$ 将 $D$ 分割为若干非空子集 $D_i$ ，将 $D_i$ 中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树 $T$ ，返回 $T$ ；
（6）对第 $i$ 个子结点，以 $D_i$ 为训练集，以 $A-A_m$ 为特征集，递归调用步骤（1）~（5），得到子树 $T_i$ ，返回 $T_i$ ；

ID3算法的优缺点

优点：

决策树构建速度快，容易构建

缺点：

计算依赖于特征数目较多的特征，而属性值最多的属性并不一定最优
ID3算法不是递增算法
ID3算法是单变量决策树，对特征属性之间的关系不会考虑
抗噪性差
只适合小规模数据集，需要将数据放到内存中
容易产生过拟合

C4.5算法

C4.5算法与ID3算法相似，C4.5算法对ID3算法进行了改进。C4.5在生成的过程中，用信息增益比来选特征。

信息增益比

以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题，使用信息增益比可以对这一问题进行校正。这是特征选择的另一准则。

定义：特征 $A$ 对训练数据集 $D$ 的信息增益比 $g_R(D,A)$ 定义为其信息增益 $g(D,A)$ 与训练数据集 $D$ 关于特征 $A$ 的值的熵 $H_A(D)$ 之比，即：

g_{R} (D, A) = \frac{g (D, A)}{H_{A} (D)}

$g_R(D,A) = \frac{g(D,A)}{H_A(D)}$
其中：

H_{A} (D) = - \sum_{i = 1}^{n} \frac{| D_{i} |}{| D |} l o g_{2} \frac{| D_{i} |}{| D |}

$H_A(D)=-\sum_{i=1}^{n}\frac{|D_i|}{|D|}log_2\frac{|D_i|}{|D|}$ ，

n

$n$ 是特征

A

$A$ 取值的个数。

C4.5算法流程
输入：训练数据集 $D$ ，特征集 $A$ ，阀值 $\mathcal{E}$
输出：决策树 $T$
（1）若 $D$ 中所属实例属于同一类 $C_k$ ，则T为单结点树，并将类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（2）若 $A = \phi$ ，则 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（3）否则，按照计算 $A$ 中每个特征对 $D$ 的信息增益比，选择信息增益比最大的特征 $A_m$ ；
（4）如果 $A_m$ 的信息增益比小于阀值 $\mathcal{E}$ ，则置 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$ ；
（5）否则，对 $A_m$ 的每一种可能值 $a_i$ ，依 $A_m=a_i$ 将 $D$ 分割为若干非空子集 $D_i$ ，将 $D_i$ 中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树 $T$ ，返回 $T$ ；
（6）对第 $i$ 个子结点，以 $D_i$ 为训练集，以 $A-A_m$ 为特征集，递归调用步骤（1）~（5），得到子树 $T_i$ ，返回 $T_i$ ；

C4.5算法的优缺点

优点：

产生的规则易于理解
准确率较高
实现简单

缺点：

对数据需要进行多次扫描和排序，所以效率低
只适合小规模数据集，需要将数据放到内存中

CART算法

CART决策树使用“基尼指数”来选择特征划分，数据集 $D$ 的纯度可以用基尼值来度量：

G i n i (D) = \sum_{k = 1}^{| y |} \sum_{k^{^{'}} \neq k} p_{k} p_{k^{^{'}}} = 1 - \sum_{k = 1}^{| y |} p_{k}^{2}

$Gini(D) = \sum_{k=1}^{|y|}\sum_{k^{'} \neq k}p_kp_{k^{'}} = 1 - \sum_{k=1}^{|y|}p_k^2$
直观来说，

G i n i (D)

$Gini(D)$ 反映了从数据集

D

$D$ 中随机抽取两个样本，其类别标记不一致的概率。因此

G i n i (D)

$Gini(D)$ 越小，则数据集

D

$D$ 的纯度越高。

如果样本集合 $D$ 根据特征 $A$ 是否取某一可能值 $a$ 被分割成 $D_1$ 和 $D_2$ 两部分，即：

D_{1} = {(x, y) \in D | A (x) = a} $, $ D_{2} = D - D_{1}

$D_1 = \{(x,y) \in D|A(x) = a\}$,$D_2 = D - D_1$
则在特征

A

$A$ 的条件下，集合

D

$D$ 的基尼指数定义为：

G i n i (D, A) = \frac{| D_{1} |}{| D |} G i n i (D_{1}) + \frac{| D_{2} |}{| D |} G i n i (D_{2})

$Gini(D,A) = \frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$
通式为：

G i n i (D, a) = \sum_{v = 1}^{V} \frac{| D_{v} |}{| D |} G i n i (D_{v})

$Gini(D,a) = \sum_{v=1}^{V}\frac{|D_v|}{|D|}Gini(D_v)$
基尼指数

G i n i (D)

$Gini(D)$ 表示集合

D

$D$ 的不确定性，基尼指数

G i n i (D, A)

$Gini(D,A)$ 表示经

A = a

$A=a$ 分割后集合

D

$D$ 的不确定性。
我们在候选属性集合

A

$A$ 中，选择那个是的划分后基尼指数最小的属性作为最优划分属性。

注：基尼指数用来划分属性生成分类数的，对于回归树的生成我们用的是最小二乘回归树生成算法。

最小二乘回归树生成算法

输入：训练数据集 $D$ ；
输出：回归树 $f(x)$

在训练数据集所在的输入空间中，递归的将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树。
（1）选择最优切分变量 $j$ 与切分点 $s$ ，求解：

min_{j, s} [min_{c_{1}} \sum_{x_{i} \in R_{1} (j, s)} (y_{i} - c_{1})^{2} + min_{c_{2}} \sum_{x_{i} \in R_{2} (j, s)} (y_{i} - c_{2})^{2}]

$\min_{j,s}[\min_{c_1}\sum_{x_i \in R_1(j,s)}(y_i-c_1)^2+\min_{c_2}\sum_{x_i \in R_2(j,s)}(y_i-c_2)^2]$
遍历变量

j

$j$ ，对固定的切分变量

j

$j$ 扫描切分点

s

$s$ ，选择使上式达到最小值的对

(j, s)

$(j,s)$
（2）用选定的对

(j, s)

$(j,s)$ 划分区域，并决定相应的输出值：

R_{1} (j, s) = {x | x^{(j)} ⩽ s} ， R_{2} (j, s) = {x | x^{(j)} > s}

$R_1(j,s)=\{x|x^{(j)}\leqslant s\}，R_2(j,s)=\{x|x^{(j)} > s\}$

c_{m} = \frac{1}{N_{m}} \sum_{x_{i} \in R_{m} (j, s)} y_{i} ， x \in R_{m} ， m = 1, 2

$c_m = \frac{1}{N_m}\sum_{x_i \in R_m(j,s)}y_i，x \in R_m，m = 1, 2$
（3）继续对两个子区域调用步骤（1）（2），直到满足停止条件
（4）将输入空间划分为

M

$M$ 个区域

R_{1}, R_{2}, . . ., R_{M}

$R_1,R_2,...,R_M$ ，生成决策树：

f (x) = \sum_{m = 1}^{M} c_{m} I (x \in R_{m})

$f(x) = \sum_{m=1}^{M}c_mI(x \in R_m)$
CART基于基尼指数的生成算法

输入：训练数据集 $D$ ,停止计算条件；
输出：CART决策树

根据训练数据集，从根结点开始，递归的将每个结点进行以下操作，构建二叉决策树。
（1）设结点的训练数据集为 $D$ ，计算现有特征对该数据集的基尼指数。此时，对每一个特征 $A$ ，对其可能取的每一个值 $a$ ，根据样本点对 $A=a$ 的测试为“是”或“否”将 $D$ 分割成 $D_1$ 和 $D_2$ 两部分，计算 $A=a$ 时的基尼指数。
（2）在所有可能的特征 $A$ 以及它们所有可能的切分点 $a$ 中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点，生成两个子结点。
（3）对两个子结点递归调用（1），（2），直到满足停止条件；
（4）生成CART决策树。

总结

对于每种生成算法，只是使用了不同的方法来选择特征，流程基本类似。
ID3和C4.5算法均只适合小规模数据集上使用
ID3和C4.5算法都是单变量决策树
当属性取值比较多的时候，最好考虑C4.5算法，ID3算法得出的结果比较差
决策树分类一般只适合小数据量的情况
此外，我们还可以对决策树进行一些优化策略，比如：剪枝。将在下次博客中更新

参考资料：
李航《统计学习方法》
周志华《机器学习》西瓜书