检测任务评估指标AP和AR

翻译自：NICKZENG

介绍

这篇文章的目的是总结各种流行竞赛采用的一些常见的对象检测指标。这篇文章主要关注指标的定义。

一些概念

在深入研究竞争指标之前，让我们首先回顾一些基本概念。
置信度分数是定位框包含对象的概率。通常由分类器预测。
IoU定义为交集面积除以预测边界框的并集面积：
在这里插入图片描述
置信度得分和IoU均用作确定检测是真阳性还是假阳性的标准。下面的伪代码显示了如何：

for each detection that has a confidence score > threshold:

  among the ground-truths, choose one that belongs to the same class and has the highest IoU with the detection

  if no ground-truth can be chosen or IoU < threshold (e.g., 0.5):
    the detection is a false positive
  else:
    the detection is a true positive

如伪代码所示，仅当检测满足以下三个条件时，才将其视为真阳性（TP）：置信度得分>阈值；预测的类别与基本事实的类别匹配；预测的边界框的IoU大于地面真实值的阈值（例如0.5）。违反后两个条件中的任何一个都会导致假阳性（FP）。值得一提的是，PASCAL VOC挑战赛还包含一些其他规则，用于定义正确/错误肯定。如果多个预测对应于相同的真实性，则只有置信度得分最高的预测才算是真实阳性，而其余的则被认为是假阳性。

当应该检测到地面真相的检测的置信度得分低于阈值时，该检测就算假阴性（FN）。您可能想知道如何计算误报的数量，以便计算以下指标。但是，正如将要显示的那样，我们并不需要真正数得出结果。

当不应该检测任何东西的检测的置信度得分低于阈值时，该检测就算作真阴性（TN）。但是，在对象检测中，我们通常不关心此类检测。

精度（Precision） 定义为真实肯定的数量除以真实肯定和错误肯定的总和：
在这里插入图片描述
召回率（Recall） 定义为真阳性的数量除以真阳性和假阴性的总和：

通过将置信度分数的阈值设置在不同级别，我们可以获得不同的精确度和召回率。在x轴上具有查全率，在y轴上具有查准率，我们可以绘制一条精确的查全率曲线，该曲线表示两个指标之间的关联，下图显示了一个模拟图。
在这里插入图片描述
请注意，随着置信度分数阈值的降低，召回率单调增加；精度可以上升和下降，但总体趋势是下降。

除了精确召回曲线外，还有另一种称为召回-IoU曲线的曲线。传统上，该曲线用于评估检测框的有效性（Hosang等人，2016年），但它也是称为mAR的指标的基础，该指标将在下一部分中介绍。
通过将IoU的阈值设置为不同的级别，检测器将相应地实现不同的召回级别。利用这些值，我们可以绘制召回率-IoU曲线
在这里插入图片描述
曲线显示召回率随着IoU的增加而降低。

各种指标的定义

本节介绍以下指标：平均精度（AP），类别平均精度（mAP），平均召回率（AR）和类别平均召回率（mAR）。

平均精度（AP）

尽管可以使用精确调用曲线来评估检测器的性能，但是当曲线彼此相交时，在不同检测器之间进行比较并不容易。如果我们有一个可以直接用于比较的数值指标，那就更好了。这就是基于精度调用曲线的**平均精度（AP）**发挥作用的地方。本质上，AP是所有唯一召回级别的平均精度。

需要注意的是，为了减少曲线上的摆动的影响，在实际计算AP之前，我们首先在多个召回级别内插精度。这里，有两种方法可以选择召回级别，传统的方式是选择11个等距的召回级别（即0.0、0.1、0.2，…1.0）；而PASCAL VOC挑战采用的新标准将选择数据显示的所有唯一召回级别。新标准具有更高的精度，可以测量低AP的方法之间的差异。图3显示了使用新标准如何在原始曲线上获得内插的精确调用曲线。
在这里插入图片描述
然后可以将AP定义为插值的精确调用曲线下的面积，可以使用以下公式计算：