【机器学习】精确率Precision和召回率recall等评价指标记录

every blog every motto: You can do more than you think.

0. 前言

简单记录评价指标，precision、recall、f1、accuracy、IoU、MIoU、FWIoU

1. 正文

1.1 概念理解

举个栗子：
用模型对100人进行身体健康状况预测，已知30人患肿瘤。规定肿瘤为阳性，正常为阴性。
预测结果：25人阳性，其中5人实际为阴性。则，
TP = 20,（True Positive,正确预测为阳性）
FP = 5，False Positive，错误预测为阳性）
FN=10, （False Negative，错误预测为阴性）
TN = 65，（True Negative，正确预测为阴性）

小结：
第二字母为预测结果（P或N，预测为阳性或阴性），第一个字母为对预测结果的判断（T或F，预测正确或错误）
第二字母为预测结果（P或N，预测为阳性或阴性），第一个字母为对预测结果的判断（T或F，预测正确或错误）
第二字母为预测结果（P或N，预测为阳性或阴性），第一个字母为对预测结果的判断（T或F，预测正确或错误）

混淆矩阵形式：

图示：

说明： 不管是肿瘤还是建筑物预测，我们一般将我们所关心的类别归为阳性，剩下的归为阴性。

1.2 相关指标

说明： 若进行语义分割相关指标计算，我们先计算混淆矩阵，即TP、FP、TN、FN，统计图片上各类像素点个数。

1.2.1 精确率precision:

$$Precision=\frac{TP}{TP+FP}$$
即，
$$Precision=\frac{20}{20+5}$$
从预测结果的角度出发（分母为预测结果），其中，有多少是正确预测出来的。

1.2.2 召回率 recall:

$$Recall=\frac{TP}{TP+FN}$$

$$Recall=\frac{20}{20+10}$$
从实际情况出发（分母为实际患肿瘤的人数），其中，有多少人的肿瘤是查出来的（召回）

1.2.3 F1

precision 和recall 是相互制约的，从不同的角度评价我们的模型性能，同时考虑二者的影响，我们可以用调和平均数
$$F1=\frac{2\ast Precision\ast Recall}{Precision+Recall}$$

1.2.4 准确率accuracy

正确分类的样本的比例
$$acc=\frac{TP+TN}{TP+FP+TN+FN}$$

1.2.5 IoU

交并比，图示：

数学公式：
$$IoU=\frac{|A\cap B|}{|A\cup B|}$$

计算公式：
$$IoU=\frac{TP}{TP+FP+FN}$$

1.2.6 MIoU

平均交并比，如，语义分割中，我们进行多个类别分类，我们可以计算平均交并比，

$$MIoU=\frac{1}{N}\times \sum _{i=1}^{N}Io{U}_i$$

i 为类别，N为类别总数

1.2.7 FWIoU

频权交并比，根据每一类出现的频率设置权重，权重和对应的IoU相乘再进行求和。

$$FWIoU=\sum _{i=1}^N\frac{1}{P_i}\times Io{U}_i$$
P为频率，N为类别

具体到一类中的计算公式为，
TP+FN: 标签中真阳性数目
TP+FN+TN+FP: 标签中总数目
$$FWIo{U}_i=\frac{TP+FN}{TP+FP+TN+FN}\times \frac{TP}{TP+FN+FP}$$

1.2.8 Dice coefficient

图像分割中，常用其作为评价指标，取值范围为0-1。

图示：

数学公式：

$$Dice=\frac{2|A\cap B|}{|A|+|B|}$$

计算公式：

$$Dice=\frac{2\times TP}{FP+FN+2\times TP}$$

参考文献

[1] https://blog.csdn.net/xinyuski/article/details/85267307?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.essearch_pc_relevant
[2] https://blog.csdn.net/caihuanqia/article/details/108491184
[3] https://www.zhihu.com/question/316078843/answer/628394880
[4] https://blog.csdn.net/qq_28949847/article/details/107467760
[5] https://www.aiuai.cn/aifarm1159.html