人工智能—XGBoost使用指南

步骤：

  1. 读取数据--> DMatrix
            2. 设置参数
            3. 模型训练：train/cv
      3.1: train with 在校验集上early stop
3.2: cv
            4. 预测

1、读取数据

XGBoost可以加载libsvm格式的文本数据，libsvm的文件格式（稀疏特征）如下：
1 101:1.2 102:0.03
0 1:2.1 10001:300 10002:400

XGBoost加载的数据存储在对象DMatrix中
XGBoost自定义了一个数据矩阵类DMatrix，优化了存储和运算速度

每一行表示一个样本，第一行的开头的“1”是样本的标签。“101”和“102”为特征索引，'1.2'和'0.03' 为特征的值。
在两类分类中，用“1”表示正样本，用“0” 表示负样本。也支持[0,1]表示概率用来做标签，表示为正样本的概率。

# 导入必要的工具包
import xgboost as xgb

# 计算分类正确率
from sklearn.metrics import accuracy_score

dpath = './data/'
dtrain = xgb.DMatrix(dpath + 'agaricus.txt.train')
dtest = xgb.DMatrix(dpath + 'agaricus.txt.test')
dtrain.num_col()
dtest.num_row()

2. 设置参数

max_depth：树的最大深度。缺省值为6，取值范围为：[1,∞]
eta：学习率。为了防止过拟合，更新过程中用到的收缩步长。
eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3，取值范围为：[0,1]
silent：取0时表示打印出运行时信息，取1时表示以缄默方式运行，不打印运行时信息。缺省值为0
objective：定义学习任务及相应的学习目标，“binary:logistic” 表示二分类的逻辑回归问题，输出为概率。

param = {'max_depth':2, 'eta':1, 'silent':0, 'objective':'binary:logistic' }

3、模型训练

train_preds = bst.predict(dtrain)
#XGBoost预测的输出是概率。对于二类分类问题，我们需要将概率值转换为0或1。
train_predictions = [round(value) for value in train_preds]
y_train = dtrain.get_label()
train_accuracy = accuracy_score(y_train, train_predictions)
print ("Train Accuary: %.2f%%" % (train_accuracy * 100.0))

4、测试

preds = bst.predict(dtest)
predictions = [round(value) for value in preds]

y_test = dtest.get_label()
test_accuracy = accuracy_score(y_test, predictions)
print("Test Accuracy: %.2f%%" % (test_accuracy * 100.0))

5、图形的可视化

from matplotlib import pyplot
import graphviz

xgb.to_graphviz(bst,num_trees=1)

6、采用交叉验证得到最佳的n_estimators

n_estimators = 1000
early_stopping_rounds = 5
cv_result = xgb.cv(param, dtrain ,num_boost_round=n_estimators, nfold =5,
             metrics='logloss', early_stopping_rounds=early_stopping_rounds)
print(cv_result)

#最佳参数n_estimators
n_estimators = cv_result.shape[0]
print("Best n_estimators:", n_estimators)

7、使用最佳参数再次验证

# 采用交叉验证得到的最佳参数n_estimators，训练模型
bst = xgb.train(param, dtrain, n_estimators)

# make prediction
preds = bst.predict(dtest)
y_pred = [round(value) for value in preds]
y_test = dtest.get_label()
test_accuracy = accuracy_score(y_test, y_pred)
print("Test Accuracy: %.2f%%" % (test_accuracy * 100.0))

# plot
test_means = cv_result['test-logloss-mean']
test_stds = cv_result['test-logloss-std'] 

x_axis = range(0, cv_result.shape[0])
        
pyplot.errorbar(x_axis, test_means, yerr=test_stds ,label='Test')

pyplot.title("XGBoost n_estimators vs Log Loss")
pyplot.xlabel( 'n_estimators' )
pyplot.ylabel( 'Log Loss' )
pyplot.show()

8、特征重要性排序

# plot feature importance using built-in function
from xgboost import plot_importance
plot_importance(bst)
pyplot.show()