决策树
决策树生成包含三个步骤: 特征选择 ——> 决策树生成——> 决策树修剪:
- 特征选择：理解: 根据某些规则选取使决策树性能最好的特征
1.1 信息熵
1.2 信息增益（缺点：偏向于选取值较多的特征）
1.3 信息增益比（基于信息增益的改进，克服了了上述信息增益的缺点） - 决策树生成：
2.1 ID3:在各个节点应用信息增益准测选择特征，递归构建决策树
2.2 C4.5:在ID3的基础上进行了改进，其实就是使用了信息增益比准则进行特征选择， 其余不变 - 决策树剪枝：防止过拟合
3.1 生成树建好后， 通过最小化loss function 去掉可以说使性能变差或无用的
因为决策树生成是一步一步的， 决策树生成是学习局部模型， 而剪枝是在整个生成树的基础上最小化loss function，所以剪枝是学习全局模型。
随机森林
随机森林是一个包含多个决策树的分类器，构建过程如下：
1）决策树相当于一个大师，通过自己在数据集中学到的知识对于新的数据进行分类。但是俗话说得好，一个诸葛亮，玩不过三个臭皮匠。随机森林就是希望构建多个臭皮匠，希望最终的分类效果能够超过单个大师的一种算法。
2）那随机森林具体如何构建呢？有两个方面：数据的随机性选取，以及待选特征的随机选取。
- 数据的随机选取：
第一，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。
第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。如下图，假设随机森林中有3棵子决策树，2棵子树的分类结果是A类，1棵子树的分类结果是B类，那么随机森林的分类结果就是A类。
- 待选特征的随机选取：
与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
此外，以决策树为基函数的提升方法称为提升树（boosting tree)，包括GBDT,xgboost,adaboost，这里只主要介绍GBDT和xgboost。
先说说bootstrap, bagging，boosting 的含义。
Bootstrap是一种有放回的抽样方法思想。
该思想的应用有两方面：bagging和boosting
虽然都是有放回的抽样，但二者的区别在于：Bagging采用有放回的均匀取样，而Boosting根据错误率来取样（Boosting初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重），因此Boosting的分类精度要优于Bagging。Bagging的训练集的选择是随机的，各轮训练集之间相互独立，而Boostlng的各轮训练集的选择与前面各轮的学习结果有关。
GBDT(Gradient Boost Decision Tree 梯度提升决策树)
GBDT是以决策树（CART）为基学习器的GB算法，是迭代树，而不是分类树。
Boost是"提升"的意思，一般Boosting算法都是一个迭代的过程，每一次新的训练都是为了改进上一次的结果。
GBDT的核心就在于：每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；如果第二棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树里A的年龄就变成1岁，继续学习。
xgboos也是以（CART）为基学习器的GB算法**，但是扩展和改进了GDBT。相比GBDT的优点有：xgboost
（1）xgboost在代价函数里自带加入了正则项，用于控制模型的复杂度。
（2）xgboost在进行节点的分裂时，支持各个特征多线程进行增益计算，因此算法更快，准确率也相对高一些。