如何进行剪枝

• 决策树的剪枝往往通过极小化决策树整体的损失函数(代价函数)来实现。

• 剪枝，就是当a确定时，选择损失函数最小的模型，即损失函数最小的子树。当a确定时，子树越大，往往与训练数据的拟合越好，但是模型的复杂度越高；相反，子树越小，模型的复杂度月底，但是往往与训练数据的拟合不好，损失函数正好表示了对两者的平衡。
• 决策树生成只考虑了通过提高信息增益或信息增益比对训练数据进行更好的拟合，而决策树剪枝通过优化损失函数还考虑了减小模型复杂度。决策树生成学习局部的模型，而决策树剪枝学习整体的模型。