XGBoost全名为（extreme gradient boosting），意译为极端梯度增强算法，看到里面有一个简单的boosting算法，大家是否想到了Adaboosting算法呢？其实就我个人理解，XGBoost其实是结合了bagging和boosting两者的优点然后进行结合而得到的一种超强的新型算法，作为Kaggle的大杀器，它有足够的能力去学习各种各样不规则的特征。
现在我们就来简单的介绍一下XGBoost原理：
作为boosting算法，第t棵树模型的建立时，第t-1棵树已经建立并已经训练好（迭代，可以看做类似与RNN的流程），然后用该模型所产生的误差作为参考来建立第t棵数。
PS：
xgboost和GBDT一样，都是利用残差进行学习的，具体请参照下面的第一个博客所写的。
更多请参考：
XGBoost原理介绍——个人理解版
GBDT与XGBoost pdf讲解