XGBoost参数解释及调优

原文链接:https://blog.csdn.net/m_buddy/article/details/79337492

前言

本文中针对XGBoost的参数说明进行部分翻译得来,原文链接。因而本文中只对一些关键参数进行了翻译,且由于本人能力有限,文中难免存在错误的地方,还望指正。以下是大致翻译内容。

在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数(general parameters),Booster 参数(booster parameters)和学习目标参数(task parameters)
• 通用参数决定了那种Booster被我们选择用于Boosting, 通常是线性和树型模型,也就是用于宏观函数控制
• Booster参数取决于选择的Booster类型,用于控制每一步的booster
• 学习任务参数决定学习策略。例如,回归任务可以使用不同的参数和排序任务
• 命令行参数取决于xgboost的CLI版本
General Parameters

    booster [缺省值=gbtree]
    决定那个使用那个booster,可以是gbtree,gblinear或者dart。 gbtree和dart使用基于树的模型,而gblinear 使用线性函数.
    silent [缺省值=0]
    设置为0打印运行信息;设置为1静默模式,不打印

    nthread [缺省值=设置为最大可能的线程数]
    并行运行xgboost的线程数,输入的参数应该<=系统的CPU核心数,若是没有设置算法会检测将其设置为CPU的全部核心数
    下面的两个参数不需要设置,使用默认的就好了

    num_pbuffer [xgboost自动设置,不需要用户设置]
    预测结果缓存大小,通常设置为训练实例的个数。该缓存用于保存最后boosting操作的预测结果。
    num_feature [xgboost自动设置,不需要用户设置]
    在boosting中使用特征的维度,设置为特征的最大维度

Parameters for Tree Booster

    eta [缺省值=0.3,别名:learning_rate]
    更新中减少的步长来防止过拟合。在每次boosting之后,可以直接获得新的特征权值,这样可以使得boosting更加鲁棒。
    范围: [0,1]
    gamma [缺省值=0,别名: min_split_loss](分裂最小loss)
    在节点分裂时,只有分裂后损失函数的值下降了,才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大,算法越保守。这个参数的值和损失函数息息相关,所以是需要调整的。
    范围: [0,∞]
    max_depth [缺省值=6]
    这个值为树的最大深度。 这个值也是用来避免过拟合的。max_depth越大,模型会学到更具体更局部的样本。设置为0代表没有限制
    范围: [0,∞]
    min_child_weight [缺省值=1]
    决定最小叶子节点样本权重和。XGBoost的这个参数是最小样本权重的和,而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时,可以避免模型学习到局部的特殊样本。 但是如果这个值过高,会导致欠拟合。这个参数需要使用CV来调整。.
    范围: [0,∞]
    subsample [缺省值=1]
    这个参数控制对于每棵树,随机采样的比例。 减小这个参数的值,算法会更加保守,避免过拟合。但是,如果这个值设置得过小,它可能会导致欠拟合。 典型值:0.5-1,0.5代表平均采样,防止过拟合.
    范围: (0,1]
    colsample_bytree [缺省值=1]
    用来控制每棵随机采样的列数的占比(每一列是一个特征)。 典型值:0.5-1
    范围: (0,1]
    colsample_bylevel [缺省值=1]
    用来控制树的每一级的每一次分裂,对列数的采样的占比。 我个人一般不太用这个参数,因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣,可以挖掘这个参数更多的用处。
    范围: (0,1]
    lambda [缺省值=1,别名: reg_lambda]
    权重的L2正则化项。(和Ridge regression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数,但是这个参数在减少过拟合上还是可以挖掘出更多用处的。.
    alpha [缺省值=0,别名: reg_alpha]
    权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况下,使得算法的速度更快。
    scale_pos_weight[缺省值=1]
    在各类别样本十分不平衡时,把这个参数设定为一个正值,可以使算法更快收敛。通常可以将其设置为负样本的数目与正样本数目的比值。

Parameters for Linear Booster

    lambda [缺省值=0,别称: reg_lambda]
    L2正则化惩罚系数,增加该值会使得模型更加保守。
    alpha [缺省值=0,别称: reg_alpha]
    L2正则化惩罚系数,增加该值会使得模型更加保守。
    lambda_bias [缺省值=0,别称: reg_lambda_bias]
    偏置上的L2正则化(没有在L1上加偏置,因为并不重要)

Learning Task Parameters

    objective [缺省值=reg:linear]
    “reg:linear” – 线性回归
    “reg:logistic” – 逻辑回归
    “binary:logistic” – 二分类逻辑回归,输出为概率
    “binary:logitraw” – 二分类逻辑回归,输出的结果为wTx
    “count:poisson” – 计数问题的poisson回归,输出结果为poisson分布。在poisson回归中,max_delta_step的缺省值为0.7 (used to safeguard optimization)
    “multi:softmax” – 设置 XGBoost 使用softmax目标函数做多分类,需要设置参数num_class(类别个数)
    “multi:softprob” – 如同softmax,但是输出结果为ndata*nclass的向量,其中的值是每个数据分为每个类的概率。
    eval_metric [缺省值=通过目标函数选择]
    可供选择的如下所示:
    “rmse”: 均方根误差
    “mae”: 平均绝对值误差
    “logloss”: negative log-likelihood
    “error”: 二分类错误率。其值通过错误分类数目与全部分类数目比值得到。对于预测,预测值大于0.5被认为是正嘞,其它归为负类。
    “error@t”: 不同的划分阈值可以通过 ‘t’进行设置
    “merror”: 多分类错误率,计算公式为(wrong cases)/(all cases)
    “mlogloss”: 多分类log损失
    “auc”: 曲线下的面积
    “ndcg”:Normalized Discounted Cumulative Gain
    “map”: 平均正确率
    seed [缺省值=0]
    随机数的种子 设置它可以复现随机数据的结果,也可以用于调整参数

Command Line Parameters

一下的参数只用于命令行版本的XGBoost版本中。
1. use_buffer [缺省值=1]
是否为文本输入创建二进制缓存。这样做将加快加载速度。
2. num_round
boosting的迭代次数。
3. data
训练数据的路径
4. test:data
用作预测的测试数据路径
5. save_period [缺省值=0]
保存参数模型的周期
6. task [缺省值=train] 可选项: train, pred, eval, dump
train: 使用data训练
pred: 使用test:data做预测
eval: 进行评估统计,由eval[name]=filename指定
dump: 将学习的模型导出到文本格式
7. model_in [缺省值=NULL]
输入模型的路径,被用于test, eval, dump。在training中,XGBoost将会从输入模型的基础上继续进行训练。
8. model_out [缺省值=NULL]
训练完成之后模型的保存路径。如果没有指定将会使用诸如0003.model,这里的 0003是boosting的迭代数
9. model_dir [缺省值=models]
训练期间的训练模型输出文件夹
10. fmap
特征图谱,被用于dump模式
11. name_dump [缺省值=dump.txt]
模型dump文件的名称
12. name_pred [缺省值=pred.txt]
预测文件的名称,被用于pred模式
13. pred_margin [缺省值=0]
predict margin 而不是转换概率

猜你喜欢

转载自www.cnblogs.com/vegbirds/p/12274660.html