常见分类性能度量指标

准确率

精确率

召回率

常见分类性能度量指标

再将这几个指标之前，先讲几个基础概念

真正(True Positive , TP)：被模型预测为正的正样本。
假正(False Positive , FP)：被模型预测为正的负样本。
假负(False Negative , FN)：被模型预测为负的正样本。
真负(True Negative , TN)：被模型预测为负的负样本。

准确率

$Accuracy = \frac{TP+TN}{TP+FN+FP+TN}$

精确率

又叫正确率，查准率。是计算预测为正样本里边真正为正样本的概率

$Precision = \frac{TP}{TP+FP}$

召回率

又叫灵敏度，查全率，这个在类别不均衡的情况下，可以当做一个很重要的衡量指标

$Sensitivity = Recall = \frac{TP}{TP+FN}$

F1 值

F值是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，F值最大。很多推荐系统的评测指标就是用F值的。

$\frac{2}{F1} = \frac{1}{Precision } + \frac{1}{Recall}$

ROC曲线

接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标，roc曲线上每个点反映着对同一信号刺激的感受性。ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html

横坐标为False Positive Rate(FPR假正率)，纵坐标为True Positive Rate(TPR真正率)

转存失败重新上传取消 ../../_images/sphx_glr_plot_roc_002.png

目标最好点在靠近左下角，即

理想目标：TPR=1，FPR=0，即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好。一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting

AUC曲线

Area Under Curve，被定义为ROC曲线下的面积(ROC的积分)。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

PR曲线

PR曲线的横坐标是精确率Precision，纵坐标是召回率Recall。评价标准和ROC一样，先看平滑不平滑。一般来说，在同一测试集，上面的比下面的好（绿线比红线好）。当P和R的值接近时，F1值最大。

转存失败重新上传取消 ../../_images/sphx_glr_plot_precision_recall_003.png

https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html

当正负样本数量差距不大的情况下，ROC和PR的趋势是差不多的，但是在正负样本分布极不均衡的情况下，PR比ROC更能真实的反映出实际情况，因为此时ROC曲线看起来似乎很好，但是却在PR上效果一般。
https://www.zhihu.com/question/30643044/answer/48955833

zoe_cf

发布了41 篇原创文章 · 获赞 14 · 访问量 4万+

私信关注