机器学习（西瓜书）注解：第4章 决策树
本次更新第4章，决策树。针对该章注解有任何问题欢迎在此留言~
本章作为西瓜书“介绍经典而常用的机器学习方法”的开篇，通篇以“西瓜”为例进行讲解，通俗易懂。个人感觉最可能会让人产生困惑的知识点是决策树三种递归返回情形（参见4.1节的详细解释）、缺失值处理的具体细节（参见式(4.12)的解释，具体还得自己琢磨一下4.4.2节的例子）、决策树分类边界的轴平行特点（参见图4.11的解释）。
值得一提的是，决策树不仅可以用于分类任务，也可以用于回归任务，常见的做法是用叶结点所有样本的平均值作为预测回归值。
其它常见的与决策树密切相关模型有：随机森林(Random Forest, RF)和梯度提升树(Gradient Boosted Decision Trees, GBDT)，但这两个模型实际上属于集成学习(参见第8章)的范畴；其中随机森林参见西瓜书8.3.2节，GBDT参见博客园刘建平Pinard所写的《梯度提升树(GBDT)原理小结》(https://www.cnblogs.com/pinard/p/6140514.html)。
（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w）
第 4 章目录
第 4 章 决策树.................................................................................................................................1
4.1 基本流程............................................................................................................................1
4.2 划分选择............................................................................................................................4
1、式(4.1)的解释.............................................................................................................4
2、式(4.2)的解释.............................................................................................................4
3、式(4.4)的解释.............................................................................................................4
4、式(4.5)的推导.............................................................................................................4
4.3 剪枝处理............................................................................................................................5
4.4 连续与缺失值.....................................................................................................................6
1、式(4.8)的解释.............................................................................................................6
2、式(4.12)的解释...........................................................................................................6
4.5 多变量决策树.....................................................................................................................6
1、图 4.10 的解释............................................................................................................6
2、图 4.11 的解释............................................................................................................6
3、图 4.14 的解释............................................................................................................7
4.6 本章小节.............................................................................................................................8