1.浅聊一下决策树
头发长短-决策树（有点像那个神经网络当中的一层）
到底根据哪个指标划分更好的，直接的判断是哪个分类效果更好就使用哪个。需要有一个评价指标的。怎么判断头发长短或者有无喉结来判断男女生 更好。效果怎么量化呢，根据某个选择来分类的分类纯度越高，效果就代表越好。
信息增益的度量值为：熵
ID3算法的核心思想就是以信息增益度量属性选择我们先定义信息论中广泛使用的一个度量标准，称为熵（entropy），它刻画了任意样例集的纯度（purity）。给定包含关于某个目标概念的正反样例的样例集S，那么S相对这个布尔型分类的熵为：
P正 代表正样例
P负 代表负样例
不正不负的案例呢，不去打球(在有关熵的所有计算中我们定义0log0为0)。
这里使用的是一个比例。不是真正的数字
举例来说，假设S是一个关于布尔概念的有14个样例的集合，它包括9个正例和5个反例（我们采用记号[9+，5-]来概括这样的数据样例），那么S相对于这个布尔样例的熵为：
Entropy（[9+，5-]）=-（9/14）log2（9/14）-（5/14）log2（5/14）=0.940。
利用熵值别能够判断分类效果的好坏
2.回归树与集成学习
Xgboost就是由很多的Cart树集成的
数据挖掘或机器学习中使用的决策树有两种主要类型：
1.分类树分析是指预测结果是数据所属的类（比如某个电影去看还是不看）
2.回归树分析是指预测结果可以被认为是实数（例如房屋的价格，或患者在医院中的逗留时间）
而术语分类回归树（CART，Classification And Regression Tree）分析是用于指代上述两种树的总称，由Breiman等人首先提出。
2.1回归树
分类回归很相近，分类从已知样本特征 到新样本-是离散值。
回归是连续值。本质都一样，都是特征（feature）到标签（label）之间的映射。
所以回归树使用不了信息增益、信息增益率、基尼系数。智能用新的方式评估方法（有均方误差对数误差等）节不是类别而是数值。有的是节点内样本均值，有的是最优化算出来的比如Xgboost
CART回归树，是假设树为二叉树，通过不断将特征进行分裂。比如当前树结点是基于第j个特征值进行分裂的，设该特征值小于s的样本划分为左子树，大于s的样本划分为右子树。
而CART回归树实质上就是在该特征维度对样本空间进行划分，而这种空间划分的优化是一种NP难问题，因此，在决策树模型中是使用启发式方法解决。典型CART回归树产生的目标函数为：
因此，当我们为了求解最优的切分特征j和最优的切分点s，就转化为求解这么一个目标函数：
所以我们只要遍历所有特征的的所有切分点，就能找到最优的切分特征和切分点。最终得到一棵回归树。
2.2boosting集成学习
多个分类器（弱分类器）对数据集进行预测。然后用某种策略将多个分类器的预测结果结合到一起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。
集成学习根据各个弱分类器之间有无依赖关系，分为Boosting和Bagging两大流派：
1.Boosting流派，各分类器之间有依赖关系，必须串行，比如Adaboost、GBDT(Gradient Boosting Decision Tree)、Xgboost
2.Bagging流派，各分类器之间没有依赖关系，可各自并行，比如随机森林（Random Forest）
而著名的Adaboost作为boosting流派中最具代表性的一种方法。
AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。
具体说来，整个Adaboost 迭代算法就3步：
1.初始化训练数据的权值分布。如果有N个样本，则每一个训练样本最开始时都被赋予相同的权值：1/N。
2.训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
3.将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。
而另一种boosting方法GBDT（Gradient Boost Decision Tree)，则与AdaBoost不同，GBDT每一次的计算是都为了减少上一次的残差，进而在残差减少（负梯度）的方向上建立一个新的模型。
boosting集成学习由多个相关联的决策树联合决策，什么叫相关联？举个例子
- 有一个样本[数据->标签]是：[(2，4，5)-> 4]
- 第一棵决策树用这个样本训练的预测为3.3
- 那么第二棵决策树训练时的输入，这个样本就变成了：[(2，4，5)-> 0.7]
- 也就是说，下一棵决策树输入样本会与前面决策树的训练和预测相关
Xgboost为何也是一个boosting的集成学习
而一个回归树形成的关键点在于：
- 分裂点依据什么来划分（如前面说的均方误差最小，loss）；
- 分类后的节点预测值是多少（如前面说，有一种是将叶子节点下各样本实际值得均值作为叶子节点预测误差，或者计算所得）
另一种集成学习的bagging流派，各个训练之间就没有什么关联。
3.GBDT
说到Xgboost，不得不先从GBDT(Gradient Boosting Decision Tree)说起。因为xgboost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted。包括前面说过，两者都是boosting方法。
GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的梯度/残差(这个梯度/残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。如图所示：Y = Y1 + Y2 + Y3。
举一个非常简单的例子，比如我今年30岁了，但计算机或者模型GBDT并不知道我今年多少岁，那GBDT咋办呢？
1.它会在第一个弱分类器（或第一棵树中）随便用一个年龄比如20岁来拟合，然后发现误差有10岁；
2.接下来在第二棵树中，用6岁去拟合剩下的损失，发现差距还有4岁；
3.接着在第三棵树中用3岁拟合剩下的差距，发现差距只有1岁了；
4.最后在第四课树中用1岁拟合剩下的残差，完美。
最终，四棵树的结论加起来，就是真实年龄30岁。实际工程中，gbdt是计算负梯度，用负梯度近似残差。
为什么能用GBDT用负梯度 （什么是 负梯度）接近残差。迭代时，对样本的有预测。损失函数为均方差
那此时的负梯度是这样计算的
还是年龄预测的例子。
简单起见，假定训练集只有4个人：A,B,C,D，他们的年龄分别是14,16,24,26。其中A、B分别是高一和高三学生；C,D分别是应届毕业生和工作两年的员工。
所以，现在的问题就是我们要预测这4个人的年龄，咋下手？很简单，先随便用一个年龄比如20岁去拟合他们，然后根据实际情况不断调整。
如果是用一棵传统的回归决策树来训练，会得到如下图所示结果：
现在我们使用GBDT来做这件事，由于数据太少，我们限定叶子节点做多有两个，即每棵树都只有一个分枝，并且限定只学两棵树。
我们会得到如下图所示结果：
在第一棵树分枝和图1一样，由于A,B年龄较为相近，C,D年龄较为相近，他们被分为左右两拨，每拨用平均年龄作为预测值。
此时计算残差（残差的意思就是：A的实际值 - A的预测值 = A的残差），所以A的残差就是实际值14 - 预测值15 = 残差值-1。
注意，A的预测值是指前面所有树累加的和，这里前面只有一棵树所以直接是15，如果还有树则需要都累加起来作为A的预测值。
进而得到A,B,C,D的残差分别为-1,1，-1,1。
然后拿它们的残差-1、1、-1、1代替A B C D的原值，到第二棵树去学习，第二棵树只有两个值1和-1，直接分成两个节点，即A和C分在左边，B和D分在右边，经过计算（比如A，实际值-1 - 预测值-1 = 残差0，比如C，实际值-1 - 预测值-1 = 0），此时所有人的残差都是0。
残差值都为0，相当于第二棵树的预测值和它们的实际值相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了，即每个人都得到了真实的预测值。
换句话说，现在A,B,C,D的预测值都和真实年龄一致了。Perfect！
A: 14岁高一学生，购物较少，经常问学长问题，预测年龄A = 15 – 1 = 14
B: 16岁高三学生，购物较少，经常被学弟问问题，预测年龄B = 15 + 1 = 16
C: 24岁应届毕业生，购物较多，经常问师兄问题，预测年龄C = 25 – 1 = 24
D: 26岁工作两年员工，购物较多，经常被师弟问问题，预测年龄D = 25 + 1 = 26
所以，GBDT需要将多棵树的得分累加得到最终的预测得分，且每一次迭代，都在现有树的基础上，增加一棵树去拟合前面树的预测结果与真实值之间的残差。