ROC曲线和AUC指标
1.ROC曲线
ROC曲线的横轴就是FPRate，纵轴就是TPRate，二者相等时表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5
图中蓝色的线则是ROC曲线，ROC曲线和横轴、纵轴围成的面积就是AUC指标。
2.AUC指标
- AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率
- AUC的最小值为0.5，最大值为1，取值越高越好
- AUC = 1，完美分类器，采用这个模型预测时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
- 0.5 < AUC < 1 ，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
- 如果AUC小于0.5的话，就用1-AUC，此时就叫做反向预测。
3.TPR和FPR
- TPR = TP / (TP + FN) 召回率
- 所有真是类别为1的样本中，预测类别为1的比例
- FPR = FP / (FP + TN)
- 所有真实类别为0的样本中，预测类别为1的比例
4.AUC计算API
from sklearn.metrics import roc_auc_score
sklearn.metrics.roc_auc_score(y_true,y_score)
计算ROC曲线的面积，即AUC的值
y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
y_score：预测得分，可以是正常的估计概率、置信值或者分类器方法的返回值