第五章 决策树
5.1决策树模型与学习
5.1.1决策树模型
分类决策树模型由结点和有向边组成，结点分为内部结点和叶节点，内部结点表示特征或属性，叶节点表示一个类。
决策树的分类过程：从根节点，对实例某一特征进行测试，根据测试结果将实例分配到子节点。
5.1.2 决策树与if-then规则
if-then规则：由根节点到叶节点的每条路径构建一条规则：内部结点表示条件，叶节点表示结论，且每个实例都被一条规则覆盖，而且只被一条规则所覆盖。
5.1.3决策树与条件概率分布
给定先验概率（对特征空间的划分），用后验概率来表示决策树。
5.1.4决策树学习
决策树学习的关键：特征选择，决策树的生成和决策树的剪枝。
特征选择：选择最优特征对训练数据集进行划分，使得子集能够被基本正确分类，构建叶节点。
决策树的生成：数据子集被正确分类，构建叶节点，未被正确分类，选择最优特征继续分类，直到所有数据集基本被正确分类为止，生成决策树。
决策树剪枝：决策树深度过大，出现过拟合现象，剪枝简化模型。
5.2特征选择
5.2.1 特征选择问题
特征选择即选取对训练数据具有分类能力的特征。选择准则：信息增益和信息增益比。
5.2.2 信息增益
熵：表示随机变量不确定性的度量。
条件熵：
信息增益：得知特征X的信息而使得类Y的信息的不确定性减少的程度。
计算信息增益算法：
5.2.3 信息增益比
5.3 决策树的生成
ID3算法
利用信息增益准则选择特征来构建结点，递归的生成决策树。
ID3算法容易产生过拟合现象。
5.3.2 C4.5的生成算法
将ID3的信息增益换为信息增益比。
5.4决策树的剪枝
简化模型，解决过拟合问题：剪枝从已生成的树上裁剪掉一些子树或者叶节点，并将其根节点或父节点作为新的叶节点。
决策树损失函数的定义：（正则化，添加罚项）
剪枝算法：
5.5 CART算法
5.5.1 CART生成
1.回归树的生成
略
2.分类树的生成
最优特征的选择：基尼指数
最优特征的决定：最优二值切分点
基尼指数：
