xgboost介绍以及推导

0 xgboost介绍

xgboost 全称extreme gradient boost，指的是极值梯度提升，利用的集成学习的思想，本文介绍主要分为三步：模型，策略和算法

1 模型

   xgboost是分类回归树进行组合

（1）预测模型是根据集成学习的推广，如下所示

     其中yi指的是第i个样本的预测的结果，K表示K个树, fk是指第k的树的预测结果

（2）损失函数也是集成学习的推广，如下所示：

2 策略

  对于加法策略其预测模型可以表示成：（第i个样本为例）

  （1）初始化：

  （2）当模型中有一棵树：

  （3）当模型中有两棵树：

…

  （4）当模型中有t棵树： 

  损失函数，当加入t棵树的时候，前t-1棵树的训练已经完成，所以当加入第t棵树的时候，损失函数表示如下：

当损失函数采用均方误差的时候

对于单个树来说，模型如下所示：

该树的负责度可以成

故可得xboost目标函数如下：

3 求解

因为需要求解目标函数的最小值，就需要进行求导，主要使用泰勒展开式子：

将误差函数的看做∆x，则

    

令 = gi， = hi,对于第t棵树木，是常量，所以误差函数可以简化为：

 

 

 

可以得到：

 

对求偏导，得到最后的结果

 

参考的博客: https://blog.csdn.net/huibeng7187/article/details/77588001