如何加理解(两个模型)准确率(ACC)和AUC变化不一致

1. 问题

当我们建立两个模型都是二分类的,并应用常见的Logistic回归模型得到结果如下:模型A的正确率为85%,AUC为0.98;模型B的正确率为93%,AUC为0.92。那么选择哪个模型呢?

很多朋友首先应该会质疑方法使用的正确性,不过出现这个问题的可能性很小,我们假设方法是正确的,主要探讨AUC和正确率矛盾的问题

查阅文献,发现不少朋友也遇到同样的问题,更巧的是已有学者通过模拟研究证实矛盾的存在。下面图表中的最后一列展示的正是AUC和正确率结论的一致比例,较低可达93.5%。
在这里插入图片描述

2. 解释

接着我们从简单的理论出发解释一下,两者出现矛盾的可能原因。正确率是基于较佳的截断值计算的,所以很多朋友觉得他应该可靠。但是他们可能不知道, AUC是基于所有可能的截断值计算的,AUC应该更加稳健

怎么理解“稳健”这个词呢?
我们可以理解为计算正确率时所基于的较佳截断值并不是总体分布中的较佳截断值,正确率只是某个随机样本的一个属性指标。而AUC不关注某个截断值的表现如何,可以综合所有截断值的预测性能,所以正确率高,AUC不一定

猜你喜欢

转载自blog.csdn.net/nixiang_888/article/details/116191478