精确率，又称查准率(Precision)：指的是模型判为正的所有样本中有多少是真正的正样本；正样本的预测数/被预测为正样本的数量（注意：精确率和准确率不同），即： ;挑出的西瓜中有多少比例是好瓜
召回率(Recall)又称查全率：指的是所有正样本有多少被模型判为正样本，即召回；分类正确的正样本个数占正样本个数的比例，即：；所有好瓜中有多少比例被挑出来。

分析：查准率和查全率是一对矛盾的度量。若要让查准率比较高，则只挑最有把握的瓜，则难免会漏掉不少好瓜，查全率较低；若要查全率比较高，则通过增加选瓜的数量来实现，若全部瓜都参选，则查全率最高，此时，查准率较低；
应用：在推荐系统中，为了少打扰用户，则查准率比较高；在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，则查全率比较高。

F1-Score：

在介绍F1-Score之前，首先介绍调和平均值，调和平均值为：又称倒数平均数，是总体各统计变量倒数的算术平均数的倒数。

F1度量的一般形式——Fβ能够表达对差准率和查询率的不同偏好：

其中，β>1时，查全率更有影响；β=1时，退化为标准的F1；β<1时，查准率更有影响。

F1值的一般形式为差准率和查全率的调和均值。是分类与信息检索中最常用的指标之一。

1.2 ROC和AUC

ROC（Receiver Operating Characteristic）曲线，以及AUC（Area Under Curve），常用来评价一个二值分类器的优劣，ROC的横轴为false positive rate，FPR，“假正例率”，也就是误判为正确的比例；纵轴是true positive rate，TPR，“真正例率”，也就是正确的判断为正确的比例。

设模型输出的正样本集合为 A ，真正的正样本集合为 B ，所有样本集合为 CC ，我们称为真正率（True-positive rate），为假正率（False-positive rate）。定义如下：
这里写图片描述

考虑ROC曲线图中的四个点和一条线。第一个点，(0,1)，即FPR=0, TPR=1，这意味着FN（false negative）=0，并且FP（false positive）=0。Wow，这是一个完美的分类器，它将所有的样本都正确分类。第二个点，(1,0)，即FPR=1，TPR=0，类似地分析可以发现这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。第三个点，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，可以发现该分类器预测所有的样本都为负样本（negative）。类似的，第四个点(1,1)，分类器实际上预测所有的样本都为正样本。经过以上的分析，我们可以断言，ROC曲线越接近左上角，该分类器的性能越好。

AUC分数是曲线下的面积（Area under curve），越大意味着分类器效果越好。显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

1.3 对数损失

对数损失（Log loss）亦被称为逻辑回归损失（Logistic regression loss）或交叉熵损失（Cross-entropy loss）。

对于二分类问题，设y∈{0,1}且，则对每个样本的对数损失为：

可以很容易地将其扩展到多分类问题上。设Y为指示矩阵，即当样本i的分类为k时；设P为估计的概率矩阵，即，则对每个样本的对数损失为：

1.4 铰链损失（Hinge loss）

铰链损失（Hinge loss）一般用来使“边缘最大化”（maximal margin）。

铰链损失最开始出现在二分类问题中，假设正样本被标记为1，负样本被标记为-1，y是真实值，w是预测值，则铰链损失定义为：

然后被扩展到多分类问题，假设是对真实分类的预测值，是对非真实分类预测中的最大值，则铰链损失定义为：

注意，二分类情况下的定义并不是多分类情况下定义的特例。

1.5 混淆矩阵

混淆矩阵又被称为错误矩阵，是除了ROC曲线和AUC之外的另一个判断分类好坏程度的方法。下面给出二分类的混淆矩阵：

	Predicted as Positive	Predicted as Negative
Labeled as Positive	True Positive(TP)	False Negative(FN)
Labeled as Negative	False Positive(FP)	True Negative(TN)

如上表，可以将结果分为四类：
* 真正例(True Positive, TP)：真实类别为正例，预测类别为正例；
* 假负例(False Negative, FN)：真实类别为正例，预测类别为负例；
* 假正例(False Positive, FP)：真实类别为负例，预测类别为正例；
* 真负例(True Negative, TN)：真实类别为负例，预测类别为负例；

进一步可以推出这些指标：
* 真正率(True Positive Rate, TPR)，又名灵敏度(Sensitivity)：被预测为正的正样本数 / 正样本实际数，即：
* 假负率(False Negative Rate, FNR)：被预测为负的正样本数/正样本实际数，即：
* 假正率(False Positive Rate, FPR)：被预测为正的负样本数/负样本实际数，即：
*真负率(True Negative Rate, TNR)，特异度(Specificity)：被预测为负的负样本数/负样本实际数，即：

进一步，由混淆矩阵可以计算以下评价指标：

准确率(Accuracy)：分类正确的样本数/所有样本数量，即：
平均准确率(Average per-class accuracy)：每个类别下的准确率的算术平均，即：
错误率：分类错误的样本/所有样本的数量，即：

1.6 kappa系数

kappa系数（Cohen's kappa）用来衡量两种标注结果的吻合程度，标注指的是把N个样本标注为C个互斥类别。计算公式为

其中是观察到的符合比例，是由于随机性产生的符合比例。当两种标注结果完全相符时，，越不相符其值越小，甚至是负的。

现在举个栗子，对于50个测试样本的二分类问题，预测与真实分布情况如下表：

预测与真实值相符共有20+15个，则观察到的符合比例为po=(20+15)/50=0.7。计算pe比较复杂，PREDICT预测为1的比例为0.5，GROUND中1的比例为0.6，从完全随机的角度来看，PREDICT与GROUND均为1的概率为0.5*0.6=0.3，PREDICT与GROUND均为0的概率为0.5*0.4=0.2，则PREDICT与GROUND由于随机性产生的符合比例为0.2+0.3=0.5，即pe=0.5，最后求得。