LightGBM算法

LgihtGBM: 快速的,分布式的,高性能的基于决策树算法的梯度提升
应用范围:排序,分类,回归及其他机器学习任务
LightGMB缺陷:在小数据集上容易产生过拟合

与XGBoost相比的优势

  1. 在不降低准确率情况下,速度更快消耗内存更低

LightGBM算法特性:

  1. 采用最优的叶明智(leaf-wise)策略分裂叶子节点
    其他提升算法一般采用深度方向或level-wise,lightGBM所采用的leaf-wise则当增长到相同的叶子节点,leaf-wise会比level-wise算法减少更多的损失,故会有更高的精度

? 叶明智(leaf-wise)策略
? level-wise策略

LightGB是选择获得最大收益的节点展开,而XGBoost通过按层增长方式,故LightGBM能在更小计算代价下建立需要的决策树(层数少?

XGBoost与LightGBM更多对比:
在这里插入图片描述

XGBoost算法特性:采用预排序方法,计算过程中按照value的排序,逐个数据样本计算划分收益,这样能精确找到最佳划分值,但代价比较大且没有很好推广性。

LightGBM没有采取预排序思路,而是将这些精确的连续的每一个value划分到一系列离散的域中,即bin中。

? 预排序方法

参考文献:
https://blog.csdn.net/qq_24519677/article/details/82811215
https://blog.csdn.net/weixin_39807102/article/details/81912566

发布了69 篇原创文章 · 获赞 11 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/weixin_41636030/article/details/101628031