目标检测评价指标Precision、Recall、mAP

目标检测评价指标Precision、Recall、mAP

参考：
Object-Detection-Metrics
A Survey on Performance Metrics for Object-Detection Algorithms

1.重要定义

1.1.交并比(IOU)

Intersection Over Union (IOU)交并比用来衡量两个框的重合率，其计算公式如下：
$$\mathrm{IOU}=\frac{\mathrm{area}\left(B_p\cap B_{gt}\right)}{\mathrm{area}\left(B_p\cup B_{gt}\right)}$$
其中$B_p$为模型预测的框，$B_{gt}$为ground truth。直观点：

实验评估过程中会设置一项IOU阀值，用来评判$B_p$为正样本或负样本，例如设置IOU阀值为0.5，代表：

• IOU ≥ 0.5 ：$B_p$为正样本；
• IOU < 0.5 ：$B_p$为负样本。

阀值经常被设为50%, 75%或95%。

1.2.TP , FP , FN

• True Positive (TP) : 一次正确的检测，即$B_p$与$B_{gt}$的IOU ≥ threshold（初始设定的IOU阀值）；
• False Positive (FP) ：一次错误的检测，代表模型预测的$B_p$与真值$B_{gt}$的IOU < threshold；
• False Negative (FN) : 代表真值$B_{gt}$没有被检测出来，即模型预测的所有$B_p$里没有与该$B_{gt}$重合的；

1.3.Precision（准确率），Recall（召回率）

• Precision（准确率）：指模型在一张图片上预测的所有框中，为正确检测的比率，表达式
  $$\text{ Precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{\mathrm{TP}}{\text{ all detections }}$$
• Recall（召回率）：指所有ground truth中被正确匹配到的比率
  $$\text{ Recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{\mathrm{TP}}{\text{ all ground truths }}$$

2.Average Precision（AP）

AP 是0到1之间的所有Recall对应的Precision的平均值。从Precision和Recall的公式可以看出，随着模型在图片上预测的框（all detections）越多，而TP会有上限，所以对应的Precision会变小；当all detections越多，就代表有越多的ground truth可能会被正确匹配，即TP会有少量增加，此时Recall会变大。反过来也一样，所以我们需要检测器保持随着Recall增加（越来越多的ground truth被正确匹配），Precision也保持较高准确率。

Average Precision (AP)用来计算Precision x Recall曲线的面积，如下图所示，方式是插值法。

以上参考文章中有举例，这里进行分析：

这里共有7幅图像，其中绿色边界框表示15个ground truth，红色边界框表示24个pre-box。每一个预测的框pre-box都包含一个置信度。接下来的表格展示了每一个pre-box和对应置信度，需注意：

• 只要一个pre-box与某个ground truth的IOU大于设定阈值，则标记为TP，否则为FP。
• 在一些图片上，一个ground truth与不止一个pre-box有重合，则与其IOU最大的pre-box为TP，其余为FP。
  

因为Precision和Recall都是靠FP，TP来计算的，所以Precision x Recall 曲线也是通过计算累积的 TP 或 FP 检测的准确率召回率值绘制的。首先，我们需要根据检测的可信度来排序，然后计算每个累积检测的Precision和Recall，如下表所示：

其中Acc TP是累计出现了几个TP。根据当前的Acc TP和Acc FP计算当前的Precision和Recall。画出来折线图：

上文提到用插值法计算AP，这里有两种插值方法：

2.1 11点插值

计算公式：
A P = 1 11 ∑ r ∈ { 0 , 0.1 , … , 1 } ρ interp ⁡ ( r ) \mathrm{AP}=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\operatorname{interp}(r)} AP=111​r∈{ 0,0.1,…,1}∑​ρinterp(r)​
其中
$${\rho }_{\text{interp }}=\underset{\bar{r}:\tilde{r}\ge r}{\max }\rho (\tilde{r})$$
该公式的含义是在11个level的recall下，即 r ∈ { 0 , 0.1 , … , 1 } r \in\{0,0.1, \ldots,1\} r∈{ 0,0.1,…,1}下，进行插值。例如：

• 当$r=0$时，${\rho }_{\text{interp }}={\max }_{\bar{r}:\tilde{r}\ge 0}\rho (\tilde{r})$，而在所有$\tilde{r}\ge 0$的点中，能令$\rho (\tilde{r})$最大的$\tilde{r}$为其等于0.0666时，此时Precision=1。
• 当$r=0.1$时，${\rho }_{\text{interp }}={\max }_{\bar{r}:\tilde{r}\ge 0.1}\rho (\tilde{r})$，在所有$\tilde{r}\ge 0.1$的点中，能令$\rho (\tilde{r})$最大的$\tilde{r}$为其等于0.1333时，此时Precision=0.6666。
• 以此类推，没有$r>=0.5$的情况，所以之后为0，得到下式：
  A P = 1 11 ∑ r ∈ { 0 , 0.1 , … , 1 } ρ interp  ( r ) A P = 1 11 ( 1 + 0.6666 + 0.4285 + 0.4285 + 0.4285 + 0 + 0 + 0 + 0 + 0 + 0 ) A P = 26.84 % \begin{array}{l} A P=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\text {interp }(r)} \\ A P=\frac{1}{11}(1+0.6666+0.4285+0.4285+0.4285+0+0+0+0+0+0) \\ A P=26.84 \% \end{array} AP=111​∑r∈{ 0,0.1,…,1}​ρinterp (r)​AP=111​(1+0.6666+0.4285+0.4285+0.4285+0+0+0+0+0+0)AP=26.84%​

2.1 全点插值

这个看图很好理解，即计算面积：


计算公式：
$$\begin{array}{l}AP=A_1+A_2+A_3+A_4\\ A_1=(0.0666-0)\times 1=0.0666\\ A_2=(0.1333-0.0666)\times 0.6666=0.04446222\\ A_3=(0.4-0.1333)\times 0.4285=0.11428095\\ A_4=(0.4666-0.4)\times 0.3043=0.02026638\\ AP=0.0666+0.04446222+0.11428095+0.02026638\\ AP=0.24560955\\ AP=24.56\%\end{array}$$