数据挖掘面试题之xgboost

XGBoost 是由传统的 GBDT 模型发展而来的，在上一节中， GBDT 模型在求解最优化问题

时应用了一阶导技术，而 XGBoost 则使用损失函数的一阶和二阶导，更神奇的是用户可以自定

义损失函数，只要损失函数可一阶和二阶求导。除此， XGBoost 算法相比于 GBDT 算法还有其

他优点，例如支持并行计算，大大提高算法的运行效率； XGBoost 在损失函数中加入了正则项，

用来控制模型的复杂度，进而可以防止模型的过拟合； XGBoost 除了支持 CART 基础模型，还支

持线性基础模型； XGBoost 采用了随机森林的思想，对字段进行抽样，既可以防止过拟合，也可

以降低模型的计算量。

在实际应用

中，根据某个给定的增益阈值，对树的生长进行剪枝，当节点分割后产生的增益小于阈值时，

剪掉该分割，否则允许分割。最终，根据增益值Gain来决定最佳树结构

的选择。

这里提个外话：xgboost怎么给特征评分？

除了枚举所有不同树结构的贪心法，还有针对主要针对数据太大，不能直接进行计算的近似算法，最后还有lightgbm的

histogram方法。（参考：https://www.julyedu.com/question/big/kp_id/23/ques_id/2079 xgboost怎么给特征评分？）

之所以XGBoost可以成为机器学习的大杀器，广泛用于数据科学竞赛和工业界，是因为它有许多优点：

1.使用许多策略去防止过拟合，如：正则化项、Shrinkage 衰减 and Column Subsampling 列抽样等。

2. 目标函数优化利用了损失函数关于待求函数的二阶导数

3.支持并行化，这是XGBoost的闪光点，虽然树与树之间是串行关系，但是同层级节点可并行。具体的对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。训练速度快。另外分裂除了枚举所有不同树结构的贪心法，还实现了分裂点寻找近似算法。

4.添加了对稀疏数据的处理。

5.交叉验证，early stop，当预测结果已经很好的时候可以提前停止建树，加快训练速度。

6.支持设置样本权重，该权重体现在一阶导数g和二阶导数h，通过调整权重可以去更加关注一些样本。

7.目标函数相对dbdt 显示的把树模型复杂度作为正则项加到优化目标中。

8.数据事先排序并且以block形式存储，有利于并行计算。

https://www.julyedu.com/question/big/kp_id/23/ques_id/1037 46、怎么理解决策树、xgboost能处理缺失值？而有的模型(svm)对缺失值比较敏感。

参考文献：

https://zhuanlan.zhihu.com/p/72159928 集成学习终篇：从CART回归树开始，经历BDT、GBDT彻底理解XGBoost

https://blog.csdn.net/wjwfighting/article/details/82532847 机器不学习：机器学习时代的三大神器:GBDT,XGBOOST和LightGBM

发布了86 篇原创文章 · 获赞 1 · 访问量 8206

私信关注