介绍
LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的,具有以下优点:
- 训练速度更快,效率更高。
- 降低内存使用率。
- 更好的准确性。
- 支持并行和GPU学习。
- 能够处理大规模数据
LightGBM比XGBoost快将近10倍,内存占用率大约为XGBoost的1/6,并且准确率也有提升。官网地址:https://lightgbm.readthedocs.io/en/latest/
MML
由于LightGBM是python版的,而sparkML并不原生支持LightGBM,所以我们使用了微软的LightGBM On Spark,即MML项目。
官网地址:https://mmlspark.blob.core.windows.net/website/index.html
github地址:https://github.com/Azure/mmlspark
maven坐标:
<dependency>
<groupId>com.microsoft.ml.spark</groupId>
<artifactId>mmlspark_2.11</artifactId>
<version>0.18.0</version>
</dependency>
<dependency>
<groupId>com.microsoft.ml.lightgbm</groupId>
<artifactId>lightgbmlib</artifactId>
<version>2.2.350</version>
</dependency>
相关jar包地址:
mmlspark:https://repo1.maven.org/maven2/com/microsoft/ml/spark/mmlspark_2.11/
lightgbmlib:https://repo1.maven.org/maven2/com/microsoft/ml/lightgbm/lightgbmlib/