目录
一、决策树CART
CART分类回归树是一种典型的二叉决策树，可以处理分类或者回归问题。如果待预测结果是离散型数据，则CART生成分类决策树；如果待预测结果是连续型数据，则CART生成回归决策树。
1.1分类决策树
选择GINI系数作为分裂节点的依据。
对于给定的样本集合D，其基尼指数为
Gini系数表示该数据集中样本属于某一类的不确定程度，Gini系数越小，样本类别的不确定性越小。如样本集合D中只有一个类别，gini系数为0，样本类别不确定性为0。
对含有N个样本的样本集S，根据属性A的第i个属性值，将样本集分为S1和S2，Gini系数为：
对于属性A，计算所有属性值将数据集分为两部分后的Gini系数，选取其中的最小值，作为属性A得到的最优二分方案：
对于数据集中的所有属性，计算最优二分方案，选取最小值，作为样本S的最优二分方案：
对数据子集调用上述过程，直到满足停止条件：1）样本属于同一类别；2）树的深度达到用户指定的深度；3）样本个数达到用户指定的个数。
1.2回归决策树
选择最小方差作为分裂节点的依据。
对于属性A，计算所有属性值将数据集S分为两部分后的方差，选取其中的最小值，作为属性A得到的最优二分方案：
对于数据集中的所有属性，计算最优二分方案，选取最小值，作为样本S的最优二分方案：
对数据子集调用上述过程，直到满足停止条件。
1.3 决策树优点与缺点
优点：
- 从模型中得到的规则能得到非常直观的解释。
- 为判断属性变量的重要性提供依据。
- 模型在面对缺失值、变量数多等问题，依然显得非常稳健。
- 既可以处理离散值，也可以处理连续值。
缺点：
- 决策树算法容易过拟合，导致泛化能力不强。
- 寻找到的决策树是局部最优，而非全局最优。
1.4 决策树剪枝算法
剪枝是避免决策树过拟合的有效方法，包含预剪枝和后剪枝两种算法。
1、预剪枝
在决策树训练过程中（只用到训练集），若分裂节点后的信息增益小于阈值，则停止划分。
2、后剪枝
用训练集构建好一颗决策树后，利用测试集进行修正。后剪枝算法包括：
Reduced-Error Pruning(REP,错误率降低剪枝)，自底向上对非叶结点进行考察，分别计算剪枝前后，测试集的预测精度，若剪枝后，预测精度提高，则进行剪枝，否则不进行剪枝。
二、随机森林RF
2.1随机森林的生成
1、如果训练数据集大小为N，对于每棵树而言，随机且有放回地从训练集中抽取N个训练样本，作为该树的训练集。
2、如果每个样本的特征维度为M，随机地从M个特征中选取m（sqrt(M)）个特征子集，每次树分裂时，从这m个特征中选择最优的。
3、每棵树都尽最大程度的生长。
我们要将一个输入样本分类，需要将输入样本输入到每棵树中进行分类，森林中的每棵树都是独立的，99%不相关的树做出的预测结果涵盖所有情况，这些预测结果将会彼此抵消，少数优秀的树的预测结果将会超脱于“噪音”，做出一个好的预测。将若干个弱分类器的分类结果进行投票选择，从而组成一个强分类器，这是随机森林Bagging的思想。
2.2 随机森林的特点
- 由于每棵树都是独立的（任两棵树的相关性低），且精度最优，所以随机森林具有极好的准确率。
- 随机森林不容易发生过拟合。（样本数据随机抽样，以及特征子集随机抽样，稀释了噪音）
- 每棵树并行化训练，该模型可以有效地运行在大数据集上。
- 可以得到变量的重要性排序。（决策树）
- 既能处理离散型变量，又能处理连续型变量。（决策树）
- 面对数据缺失、高维特征等问题依然具有较高的稳健性。（决策树）
参考文献
https://blog.csdn.net/zhihua_oba/article/details/72230427
https://blog.csdn.net/xiongchengluo1129/article/details/78485306
https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm#inter