4、决策树算法

1、认识决策树：

      决策树思想非常朴素，程序设计中的条件就是if-then结构，最早的决策树就是利用这类结构分割数据的一中分类学习方法。

2、信息论基础-银行贷款分析

      香农在1948年提出信息论，单位为比特；

      信息熵：可以理解为代价；信息和消除不确定性是相联系的；

      信息增益：当得知特征x的信息而使得类y的信息的不确定性减小的程度，

                        公式：g（D，A）=H（D）- H（D | A）

                     

3、决策树的生成

      1）决策树的分类依据：信息增益、ID3、C4.5、CART、基尼系数（划分更仔细）

4、决策树的优点

      1）简单的理解和解释，树木可视化；

      2）需要很少的数据准备、其他技术通常需要数据归一化；

5、决策树的缺点

      1）决策树学习可以创建不能很好推广的数据过于复杂的树，这种也被称为过拟合。

6、改进：

      1）剪枝算法Cart；

      2）随机森林；