GBDT scikit-learn相关参数

@

1.GradientBoostingClassifier

loss:给定损失函数,可选对数似然函数deviance和指数损失函数exponential;默认为deviance;不建议修改。

n_estimators :最大迭代次数,值过小可能会导致欠拟合,值过大可能会导致过拟合,一般50~100比较适合,默认50。

learning_rate: 指定每个弱分类器的权重缩减系数v,默认为1;一般从一个比较小的值开始进行调参;该值越小表示需要更多的弱分类器。

subsample :给定训练模型的时候,进行子采样的比例值,取值范围(0,1], 默认为1,表示不采用子采样;给值小于1表示采用部分数据进行模型训练,可以降低模型的过拟合情况;推荐[0.5,0.8];采样采用的方式是不放回采样。

init :给定初始化的模型,可以不给定

2.GradientBoostingRegressor

alpha :当使用huber或者quantile损失函数的时候,需要给定分位数的值,默认为0.9;如果噪音数据比较多,可以适当的降低该参数值。、

loss:给定损失函数,可选均方差ls、绝对损失lad、Huber损失huber、分位数损失quantile;默认ls;一般采用默认;如果噪音数据比较多,推荐huber;如果是分段预测,推荐quantile。

n_estimatorslearning_ratesubsampleinit 同上。

猜你喜欢

转载自www.cnblogs.com/tankeyin/p/12285588.html