机器学习性能度量

查全率、查准率与F1

	预测结果
真实结果	正例	反例
正例	True Positive	False Negative
反例	False Positive	True Negative

差准率：判断为正例的样本有多少真的为正例

$$Precison=\frac{TP}{TP+FP}$$
查全率：真的为正例的样本有多少被找出来了
$$Recall=\frac{TP}{TP+FN}$$

PR曲线

查全率和查准率是相互矛盾的度量。

在很多情况下，我们可以根据学习器的预测结果进行排序，排在前面是学习器认为最有可能为正例的样本，排在后面的是最不可能为正例的样本。按此顺序将样本逐个判断为正例，每次计算出当前的查全率和查准率，以查全率为横轴，查准率为纵轴作图，得到P-R曲线：

当一个学习器的P-R曲线完全被另外一个学习器包住时，比如图中B包住了C，则可判断B优于C。还可以利用P-R曲线下的面积判断，但面积一般不容易估算。

也可以用平衡点，即查全率=查准率的值。

更多的用F值，即查全率和查准率的调和平均：

$$F=\frac{2P\cdot R}{P+R}$$

ROC和AUC

ROC全称是“受试者工作特征”(Receiver Operating Characteristic)。与P-R曲线类似，将样本按预测结果排序，并逐个把样本作为正例预测，以TPR（True Positive Rate）为纵轴，FPR（False Positive Rate）为横轴：

$$TPR=\frac{TP}{TP+FN}，FPR=\frac{FP}{FP+TN}$$

ROC曲线下的面积称为AUC（Area Under ROC Curve）。

---

参考资料

机器学习 周志华