借鉴：https://www.jianshu.com/p/c4d0837e9439
决策树
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
详见百度百科
举例
游戏中，出题者写下一个明星的名字，其他人需要猜出这个人是谁。当然，如果游戏规则仅此而已的话，几乎是无法猜出来的，因为问题的规模太大了。为了降低游戏的难度，答题者可以向出题者问问题，而出题者必须准确回答是或者否，答题者依据回答提出下一个问题，如果能够在指定次数内确定谜底，即为胜出。加入了问答规则之后，我们是否有可能猜出谜底呢？我们先实验一下，若问答记录如下：
1. 是男的吗？Y
2. 是亚洲人吗？Y
3. 是中国人吗？N
4. 是印度人吗？Y
5. ......
通过不断引入条件判断缩小范围，最终找到最接近真实的答案。
在上面的游戏中，我们针对性的提出问题，每一个问题都可以将我们的答案范围缩小，在提问中和回答者有相同知识背景的前提下，得出答案的难度比我们想象的要小很多。
回到我们最初的问题中，如何将树结构用于机器学习中？结合上面的图，我们可以看出，在每一个节点，依据问题答案，可以将答案划分为左右两个分支，左分支代表的是Yes，右分支代表的是No，虽然为了简化，我们只画出了其中的一条路径，但是也可以明显看出这是一个树形结构，这便是决策树的原型。
决策树算法简介
我们面对的样本通常具有很多个特征，正所谓对事物的判断不能只从一个角度，那如何结合不同的特征呢？决策树算法的思想是，先从一个特征入手，就如同我们上面的游戏中一样，既然无法直接分类，那就先根据一个特征进行分类，虽然分类结果达不到理想效果，但是通过这次分类，我们的问题规模变小了，同时分类后的子集相比原来的样本集更加易于分类了。然后针对上一次分类后的样本子集，重复这个过程。在理想的情况下，经过多层的决策分类，我们将得到完全纯净的子集，也就是每一个子集中的样本都属于同一个分类。
比如上图中，平面坐标中的六个点，我们无法通过其x坐标或者y坐标直接就将两类点分开。采用决策树算法思想：我们先依据y坐标将六个点划分为两个子类（如水平线所示），水平线上面的两个点是同一个分类，但是水平线之下的四个点是不纯净的。但是没关系，我们对这四个点进行再次分类，这次我们以x左边分类（见图中的竖线），通过两层分类，我们实现了对样本点的完全分类。这样，我们的决策树的伪代码实现如下：
if y > a:
output dot
else:
if x < b:
output cross
else:
output dot由这个分类的过程形成一个树形的判决模型，树的每一个非叶子节点都是一个特征分割点，叶子节点是最终的决策分类。将新样本输入决策树进行判决时，就是将样本在决策树上自顶向下，依据决策树的节点规则进行遍历，最终落入的叶子节点就是该样本所属的分类。
决策树算法流程
上面我们介绍决策树算法的思想，可以简单归纳为如下两点：
１.每次选择其中一个特征对样本集进行分类
２.对分类后的子集递归进行步骤1
看起来是不是也太简单了呢？实际上每一个步骤我们还有很多考虑的。在第一个步骤中，我们需要考虑的一个最重要的策略是，选取什么样的特征可以实现最好的分类效果，而所谓的分类效果好坏，必然也需要一个评价的指标。在上文中，我们都用纯净来说明分类效果好，那何为纯净呢？直观来说就是集合中样本所属类别比较集中，最理想的是样本都属于同一个分类。样本集的纯度可以用熵来进行衡量。
在信息论中，熵代表了一个系统的混乱程度，熵越大，说明我们的数据集纯度越低，当我们的数据集都是同一个类别的时候，熵为0，熵的计算公式如下：
其中，P(xi)表示概率，b在此处取2。比如抛硬币的时候，正面的概率就是1/2，反面的概率也是1/2，那么这个过程的熵为：
可见，由于抛硬币是一个完全随机事件，其结果正面和反面是等概率的，所以具有很高的熵。假如我们观察的是硬币最终飞行的方向，那么硬币最后往下落的概率是1，往天上飞的概率是0，带入上面的公式中，可以得到这个过程的熵为0，所以，熵越小，结果的可预测性就越强。在决策树的生成过程中，我们的目标就是要划分后的子集中其熵最小，这样后续的的迭代中，就更容易对其进行分类。
既然是递归过程，那么就需要制定递归的停止规则。在两种情况下我们停止进一步对子集进行划分，其一是划分已经达到可以理想效果了，另外一种就是进一步划分收效甚微，不值得再继续了。用专业术语总结终止条件有以下几个：
1. 子集的熵达到阈值
2. 子集规模够小
3. 进一步划分的增益小于阈值
其中，条件3中的增益代表的是一次划分对数据纯度的提升效果，也就是划分以后，熵减少越多，说明增益越大，那么这次划分也就越有价值，增益的计算公式如下：
Gain=e原-e新
上述公式可以理解为：计算这次划分之后两个子集的熵之和相对划分之前的熵减少了多少，需要注意的是，计算子集的熵之和需要乘上各个子集的权重，权重的计算方法是子集的规模占分割前父集的比重，比如划分前熵为e，划分为子集A和B，大小分别为m和n，熵分别为e1和e2，那么增益就是e - m/(m + n) * e1 - n/(m + n) * e2。
下篇将会总结一下决策树的算法