什么是决策树？
对于线性不可分的数据，我们就要采用非线性决策的方法，决策树就是非线性决策分类器的一种（我们只讨论用于分类的决策树）。
决策树，英文： Decision Tree, 是一种基本的分类与回归方法。决策树模型呈树形结构，它可以认为是一个if-then的规则集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树模型的主要特点就是具有可读性、分类速度快，通常包括三个步骤特征选择、决策树的生成和决策树的修剪。
决策树模型
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点node和有向边directed edge 组成。结点有两种类型：内部结点internal node和叶子结点leaf node。内部结点表示一个特征或属性，而叶结点表示一个类。
我们以一个简单的决策树为例：
过程如下：从根节点开始，对实例的某一个特征进行测试（比如上图从根节点先