学习笔记:二分类算法的评判标准

最近在写逻辑回归,不知道有什么分类的评判标准,问了导师之后了解到有F-Score、Roc、Auc等标准。

在画Roc图像之前,先去了解了很多关于分类的评判标准的术语,在此总结整理。

一、TP、TN、FP、FN

    对于二分类,若默认positive为1,negative为0。则有:

    TP(TRUE POSITIVE):预测正确(正确的预测成正例),即样本值为1,预测值为1

    TN(TRUE NEGATIVE):预测正确(正确的预测成反例),即样本值为0,预测值为0

    FP(FALSE POSIVTIVE):预测错误(错误的预测成正例),即样本值为0,预测值为1

    FN(FALSE NEGATIVE):预测错误(错误的预测成反例),即样本值为1,预测值为0

    P = TP + FN(正例的个数)

    N = TN +FP (反例的个数)

二、正确率、准确率、召回率、特效度、F-Measure

    1)正确率(accuracy),即预测正确的样本数占所有样本的比例。

        accuracy = (TP + TN) / (TP + TN + FP + FN) = (TP + TN )/(P + N)

        错误率即error rate=  1 - accuracy

    2)准确率(precision),即被预测为正例中正例的比例。

        precision = TP / (TP + FP)

    3)召回率(recall),也称敏感度(sensitivity),即所有正例中被预测为正例的比例。(对正例的识别能力)

        sensitivity = recall = TP / (TP + FN) = TP / P    

    4)特效度(specificity),即所有负例中被预测为负例的比例。(对负例的识别能力)

        specificity = TN / (TN + FP) = TN / N

    5)F-Measure,也称F-Score,是precision和recall的加权调和平均,用于权衡一个模型的好坏。

        F-score = (2 * precision * recall)/(precision + recall)

三、Roc曲线、Auc

    Roc曲线(receiver operating characteristic curve)即接受者操作特征曲线,是反映敏感性和特异性连续变量的综合指标。

    曲线的横坐标为FPR(False Positive Rate) ,即预测为正例但实际为负例的样本数所占所有负例样本的比例。

        FPR = 1 - specificity = FP / (TN + FP) = FP / N

    纵坐标为TPR(True Positive Rate) ,即所有正例中被预测为正例的比例

        TPR = sensitivity = recall = TP / (TP + FN) = TP / P

    拿逻辑回归举例,一般情况下我们都使用0.5作为分类的阈值,若我们的假设函数的值(概率值)超过了0.5,我们即判定该样本属于正例,则预测为1。反之,预测为0。而Roc曲线的每一个坐标值为某个阈值(threshold)下的(FPR,TPR)。这样我们通过一组阈值,就可以求出一组Roc曲线的坐标值,从而可以画出Roc曲线(当然阈值设定得越多,曲线越平滑),Roc曲线一般都在y = x这条直线之上。

    Auc(Area under Curve)则是Roc曲线与横纵坐标的面积。范围是0-1,一般是大于0.5,越接近1越好。当Auc的值为0.5时,说明该模型的正确率就和我们抛硬币出现正反的概率是一样的,也就是基本上没有用,Auc要大于0.5或者小于0.5才有意义。(小于0.5将预测结果取反就变成大于0.5的情况)。

    以上内容是我在网上到处搜刮,加上个人理解所总结的,很多内容没有深究,理解可能也有偏差,但对我来说暂时是够用了。

参考博客:

                https://blog.csdn.net/hermito/article/details/51076728 

                https://www.jianshu.com/p/c61ae11cc5f6

猜你喜欢

转载自blog.csdn.net/folk_/article/details/80280059