决策树算法（三）

5.决策树的划分依据三——基尼值和基尼指数

5.1概念

CART 决策树 [Breiman et al., 1984] 使用"基尼指数" (Gini index)来选择划分属性.

CART 是Classification and Regression Tree的简称，这是一种著名的决策树学习算法,分类和回归任务都可用

**基尼值Gini（D）：**从数据集D中随机抽取两个样本，其类别标记不一致的概率。所以，Gini(D)值越小，数据集D的纯度越高。

数据集D的纯度可用基尼值来度量：

p**k=DCk, D为样本的所有数量，C^kC**k为第k类样本的数量。

**基尼指数Gini_index（D）：**一般，选择使划分后基尼系数最小的属性作为最优化分属性。

现在我们来总结一下CART的算法流程

while (当前节点"不纯"):
    1.遍历每个变量的每一种分割方式，找到最好的分割点
    2.分割成两个节点N1和N2
end while
每个节点足够"纯"为止

6.内容有点复杂，做个小总结吧！

6.1 ID3算法

存在的缺点

• ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，但在有些情况这些属性不会提供太多有价值的信息。
• ID3算法只能对描述属性为离散型的数据集构造决策树。

6.2 C4.5算法

做出的改进

• 用信息增益率来选择属性
• 可以处理连续数值型属性
• 采用了后剪枝方法
• 缺失值的处理

C4.5算法的优点：

• 产生的分类规则容易理解，准确率较高。

C4.5算法的缺点：

• 在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导数效率低。
• C4.5只适合能够驻留与内存的数据集，当数据集太大无法在内存容纳的时候无法运行。

6.3 CART算法

CART算法相比C4.5算法的分类方法，采用了简化的二叉树模型，同时特征选择了采用近似的基尼指数来简化计算。

C4.5不一定是二叉树，但CART一定是二叉树。

扩展几个知识点：

1）**多变量决策树：**无论是ID3，C4.5还是CART，在做特征选择的时候都是选择最优的一个特征来做分类决策，但是大多数，分类决策不应该是由某一个特征决定的，而应该是由一组特征决定的。这样决策得到的决策树更加准确。这个决策树叫做多变量决策树。在选择最优特征的时候，多变量决策树不是选择某一个最优特征，而是选择最优的特征的一个特征线性组合来做决策。这个算法的代表是OC1。

如果样本发生一点点的改动，就会导致树的结构的剧烈改变，这个可以通过集成学习里面的随机森林方法解决。

2）决策树变量的两种类型：

1. 数字型（Numeric）：变量类型是整数或浮点数，如前面例子中的“年收入”。用“>=”，“>”,“<”或“<=”作为分割条件（排序后，利用已有的分割情况，可以优化分割算法的时间复杂度）。
2. 名称型（Nominal）：类似编程语言中的枚举类型，变量只能从有限的选项中选取，比如前面例子中的“婚姻情况”，只能是“单身”，“已婚”或“离婚”，使用“=”来分割。

3）如果评估分割点的好坏？

如果一个分割点可以将当前是所有节点分为两类，使得每一类都很”纯“，也就是同一类的记录比较多，那么就是一个好分割点。

构建决策树采用贪心算法，只考虑当前纯度差最大的情况作为分割点。

7.cart剪枝

• 图形描述

  • 横轴表示在决策树创建过程中树的结点总数，纵轴表示决策树的预测精度。
  • 实线显示的是决策树在训练集上的精度，虚线显示的则是在一个独立的测试集上测量出来的精度。
  • 随着树的增长，在训练样集上的精度是单调上升的， 然而在独立的测试样例上测出的精度先上升后下降。

• 出现这种情况的原因：

  • 原因1：噪声、样本冲突，即错误的样本数据。
  • 原因2：特征即属性不能完全作为分类标准。
  • 原因3：巧合的规律性，数据量不够大。

1.常用的剪枝方法

2.1 预剪枝

（1）每一个结点所包含的最小样本数目，例如10，则该结点总样本数小于10时，则不再分；

（2）指定树的高度或者深度，例如树的最大深度为4；

（3）指定结点的熵小于某个值，不再划分。随着树的增长， 在训练样集上的精度是单调上升的， 然而在独立的测试样例上测出的精度先上升后下降**。**

2.2 后剪枝：

后剪枝，在已生成过拟合决策树上进行剪枝，可以得到简化版的剪枝决策树。