-
剪枝是决策树学习算法对付“过拟合”的主要手段。过拟合的原因可能是:为了尽可能的正确分类训练样本，结点划分过程不断重复，有时会造成决策树分支过多，这是可能因训练样本学的讨“太好”了，以至于出现过拟合的情况，因此可以主动的去掉一些分支降低过拟合的风险。
通常会采取预剪枝和后剪枝的方法。预剪枝:指在决策树生成的过程中，对每个结点在划分前先进行估计，即估计当前结点的划分能不能带来决策树的泛化能力的提升，若能则划分，若不能则停止划分；后剪枝:指先从训练样本中生成一颗完整的决策树，然后自底向上对非叶结点进行考察，如果将该结点对应的子树替换成叶结点能不能提高泛化能里，若能的话，进行剪枝，不能则不进行处理。
以下是对这两者的总结：
| 预剪枝 | 后剪枝 | |
|---|---|---|
| 分支 | 少些 | 多些 |
| 欠拟合风险 | 大些 | 小些 |
| 泛化能力 | 弱些 | 强些 |
| 时间开销 | 小些 | 大些 |