1. 常见术语
这里首先介绍几个 常见 的 模型评价术语,现在假设我们的分类目标只有两类,记为正例(positive)和负例(negtive)分别是:
- True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数)
- False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数
- False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数
- True negatives(TN): 被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数
1)P=TP+FN 表示实际为正例的样本个数。
2)True、False 描述的是分类器是否判断正确。
3)Positive、Negative 是分类器的分类结果,如果正例计为 1、负例计为-1,即 positive=1、negtive=-1。用 1 表示 True,-1 表示 False,那么实际的类标=TFPN,TF 为 true 或 false,PN为 positive 或 negtive。
4)例如 True positives(TP)的实际类标=11=1 为正例,False positives(FP)的实际类标=(-1)1=-1 为负例,False negatives(FN)的实际类标=(-1)(-1)=1 为正例,True negatives(TN)的实际类标=1*(-1)=-1 为负例。
2 、评价指标
1)正确率(accuracy)
正确率是我们最常见的评价指标,accuracy = (TP+TN)/(P+N),正确率是被分对的样本数在所有样本数中的占比,通常来说,正确率越高,分类器越好。
2)错误率(error rate)
错误率则与正确率相反,描述被分类器错分的比例,error rate = (FP+FN)/(P+N),对某一个实例来说,分对与分错是互斥事件,所以 accuracy =1 - error rate。
3)灵敏度(sensitive)
sensitive = TP/P,表示的是所有正例中被分对的比例,衡量了分类器对正例的识别能力。
4)特效度(specificity)
specificity = TN/N,表示的是所有负例中被分对的比例,衡量了分类器对负例的识别能力。
5)精度(precision)
精度是精确性的度量,表示被分为正例的示例中实际为正例的比例,precision=TP/ (TP+FP)。
6)召回率(recall)
召回率是覆盖面的度量,度量有多个正例被分为正例,recall=TP/(TP+FN)=TP/P=sensitive,可以看到召回率与灵敏度是一样的。
7)其他评价指标
- 计算速度:分类器训练和预测需要的时间;
- 鲁棒性:处理缺失值和异常值的能力;
- 可扩展性:处理大数据集的能力;
- 可解释性:分类器的预测标准的可理解性,像决策树产生的规则就是很容易理解的,而神经网络的一堆参数就不好理解,我们只好把它看成一个黑盒子。
8)查准率和查全率反映了分类器分类性能的两个方面。
如果综合考虑查准率与查全率,可以得到新的评价指标 F1 测试值,也称为综合分类率:
为了综合多个类别的分类情况,评测系统整体性能,经常采用的还有微平均 F1(micro-averaging)和宏平均 F1(macro-averaging )两种指标。宏平均 F1 与微平均 F1 是以两种不同的平均方式求的全局的 F1 指标。其中宏平均 F1 的计算方法先对每个类别单独计算F1 值,再取这些 F1 值的算术平均值作为全局指标。而微平均 F1 的计算方法是先累加计算各个类别的 a、b、c、d 的值,再由这些值求出 F1 值。由两种平均 F1 的计算方式不难看出,宏平均 F1 平等对待每一个类别,所以它的值主要受到稀有类别的影响,而微平均 F1 平等考虑文档集中的每一个文档,所以它的值受到常见类别的影响比较大。