上一文讲到了信息熵的一些基础知识，而机器学习中的一个经典算法——决策树就是基于信息熵的基础上进行分析的，有关信息熵的基础知识可以回顾：
上一节内容：（十一）通俗易懂理解——信息熵
今天看到了李航的统计方法分析中讲解的决策树，觉得也是特别浅显易懂的，现在做适当终结。
首先是对熵以及信息熵进行回顾
接下去是对于算法5.1的理解，这个看得有点吃力的可以直接看以下例子部分。
题目如下，就是在年龄、工作、房子、信贷情况4个特征中判断是否贷款给此人。
该例子说明了如何计算信息增益。而ID3生成算法就是根据信息增益来选择特征，而C4.5则是根据信息增益比来选择特征。
通过这样的实例来说明决策树应该是非常的通俗易懂了。后面还有剪枝以及CART的生成算法，李航这本书的内容看得相对眼花缭乱些，后续看到更加通俗易懂的再在该篇进行完善补充。
现在来完善下CART以及剪枝内容。
参考文章：李航《统计方法分析》
参考文章：http://www.stat.cmu.edu/~cshalizi/350-2006/lecture-10.pdf