every blog every motto: You can do more than you think.
0. 前言
简单记录评价指标,precision、recall、f1、accuracy、IoU、MIoU、FWIoU
1. 正文
1.1 概念理解
举个栗子:
用模型对100人进行身体健康状况预测,已知30人患肿瘤。规定肿瘤为阳性,正常为阴性。
预测结果:25人阳性,其中5人实际为阴性。则,
TP = 20,(True Positive,正确预测为阳性)
FP = 5,False Positive,错误预测为阳性)
FN=10, (False Negative,错误预测为阴性)
TN = 65,(True Negative,正确预测为阴性)
小结:
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
第二字母为预测结果(P或N,预测为阳性或阴性),第一个字母为对预测结果的判断(T或F,预测正确或错误)
混淆矩阵形式:
图示:
说明: 不管是肿瘤还是建筑物预测,我们一般将我们所关心的类别归为阳性,剩下的归为阴性。
1.2 相关指标
说明: 若进行语义分割相关指标计算,我们先计算混淆矩阵,即TP、FP、TN、FN,统计图片上各类像素点个数。
1.2.1 精确率precision:
P r e c i s i o n = T P T P + F P Precision = {TP \over TP + FP} Precision=TP+FPTP
即,
P r e c i s i o n = 20 20 + 5 Precision = { 20 \over 20 + 5} Precision=20+520
从预测结果的角度出发(分母为预测结果),其中,有多少是正确预测出来的。
1.2.2 召回率 recall:
R e c a l l = T P T P + F N Recall = {TP \over TP + FN} Recall=TP+FNTP
R e c a l l = 20 20 + 10 Recall = {20 \over 20 + 10} Recall=20+1020
从实际情况出发(分母为实际患肿瘤的人数),其中,有多少人的肿瘤是查出来的(召回)
1.2.3 F1
precision 和recall 是相互制约的,从不同的角度评价我们的模型性能,同时考虑二者的影响,我们可以用调和平均数
F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l F1 = {2*Precision*Recall \over Precision + Recall} F1=Precision+Recall2∗Precision∗Recall
1.2.4 准确率accuracy
正确分类的样本的比例
a c c = T P + T N T P + F P + T N + F N acc = {TP + TN \over TP + FP + TN + FN} acc=TP+FP+TN+FNTP+TN
1.2.5 IoU
交并比,图示:
数学公式:
I o U = ∣ A ∩ B ∣ ∣ A ∪ B ∣ IoU = {|A \cap B| \over |A \cup B|} IoU=∣A∪B∣∣A∩B∣
计算公式:
I o U = T P T P + F P + F N IoU = {TP \over TP + FP + FN} IoU=TP+FP+FNTP
1.2.6 MIoU
平均交并比,如,语义分割中,我们进行多个类别分类,我们可以计算平均交并比,
M I o U = 1 N × ∑ i = 1 N I o U i MIoU = {1 \over N} × \sum_{i=1}^N{IoU_i} MIoU=N1×i=1∑NIoUi
i 为类别,N为类别总数
1.2.7 FWIoU
频权交并比,根据每一类出现的频率设置权重,权重和对应的IoU相乘再进行求和。
F W I o U = ∑ i = 1 N 1 P i × I o U i FWIoU = \sum_{i=1}^N{1 \over P_i}×{IoU_i} FWIoU=i=1∑NPi1×IoUi
P为频率,N为类别
具体到一类中的计算公式为,
TP+FN: 标签中真阳性数目
TP+FN+TN+FP: 标签中总数目
F W I o U i = T P + F N T P + F P + T N + F N × T P T P + F N + F P FWIoU_i = {TP+FN \over TP+FP+TN+FN}×{TP \over TP+FN+FP} FWIoUi=TP+FP+TN+FNTP+FN×TP+FN+FPTP
1.2.8 Dice coefficient
图像分割中,常用其作为评价指标,取值范围为0-1。
图示:
数学公式:
D i c e = 2 ∣ A ∩ B ∣ ∣ A ∣ + ∣ B ∣ Dice = {2 |A \cap B| \over |A| + |B|} Dice=∣A∣+∣B∣2∣A∩B∣
计算公式:
D i c e = 2 × T P F P + F N + 2 × T P Dice = {2×TP \over FP + FN + 2×TP} Dice=FP+FN+2×TP2×TP
参考文献
[1] https://blog.csdn.net/xinyuski/article/details/85267307?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant
[2] https://blog.csdn.net/caihuanqia/article/details/108491184
[3] https://www.zhihu.com/question/316078843/answer/628394880
[4] https://blog.csdn.net/qq_28949847/article/details/107467760
[5] https://www.aiuai.cn/aifarm1159.html