机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC
精确率、召回率、F1、AUC和ROC曲线都是评价模型好坏的指标,那么它们之间有什么不同，又有什么联系呢。下面让我们分别来看一下这几个指标分别是什么意思。
针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.
(1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP)
(2)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)
(4)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)
如下图所示：
精确率（Precision）为TP/(TP+FP)，即实际是正类并且被预测为正类的样本占所有预测为正类的比例，精确率更为关注将负样本错分为正样本（FP）的情况。
召回率（Recall）为TP/(TP+FN)，即实际是正类并且被预测为正类的样本占所有实际为正类样本的比例，召回率更为关注将正样本分类为负样本（FN）的情况。
F1值是精确率和召回率的调和均值，即F1=2PR/(P+R) （P代表精确率，R代表召回率），相当于精确率和召回率的综合评价指标。
有的时候，我们对recall 与 precision 赋予不同的权重，表示对分类模型的偏好：
可以看到，当 ，那么就退回到了， 其实反映了模型分类能力的偏好， 的时候，precision的权重更大，为了提高，我们希望precision 越小，而recall 应该越大，说明模型更偏好于提升recall，意味着模型更看重对正样本的识别能力； 而 的时候，recall 的权重更大，因此，我们希望recall越小，而precision越大，模型更偏好于提升precision，意味着模型更看重对负样本的区分能力。
ROC曲线其实是多个混淆矩阵的结果组合，如果在上述模型中我们没有定好阈值，而是将模型预测结果从高到低排序，将每个概率值依次作为阈值，那么就有多个混淆矩阵。
相对来讲ROC曲线会稳定很多，在正负样本量都足够的情况下，ROC曲线足够反映模型的判断能力。
因此，对于同一模型，PRC和ROC曲线都可以说明一定的问题，而且二者有一定的相关性，如果想评测模型效果，也可以把两条曲线都画出来综合评价。
对于有监督的二分类问题，在正负样本都足够的情况下，可以直接用ROC曲线、AUC、KS评价模型效果。在确定阈值过程中，可以根据Precision、Recall或者F1来评价模型的分类效果。
对于多分类问题，可以对每一类分别计算Precision、Recall和F1，综合作为模型评价指标。