多目标跟踪(MOT,Multiple Object Tracking)评价指标

简述

在事先不知道目标数量的情况下,对视频中的行人、轿车、卡车、自行车等多个目标进行检测并赋予ID进行轨迹跟踪。不同的目标拥有不同的ID,以便实现后续的轨迹预测、精准查找等工作。

多目标跟踪中即要面对在单目标跟踪中存在的遮挡、变形、运动模糊、拥挤场景、快速运动、光照变化、尺度变化等挑战,还要面对如轨迹的初始化与终止、相似目标间的相互干扰等复杂问题。MOT需达到效果:(1)通过在每帧的精确位置识别正确数量的跟踪器来跟踪对象。(2)通过长期一致地跟踪单个对象来识别对象。(3)尽管有遮挡、照明变化、背景、运动模糊等,仍可跟踪对象。(4)快速检测和跟踪物体。

评价指标

1)FP:False Positive,即真实情况中没有,但跟踪算法误检出有目标存在。 2)FN:False Negative,即真实情况中有,但跟踪算法漏检了。 3)IDS:ID Switch,目标ID切换的次数。

4)MOTA: Multiple Object Tracking Accuracy,多目标跟踪准确度。MOTA 是最广泛使用的指标,可以密切代表人类视觉评估。在 MOTA 中,匹配是在检测级别完成的。在 MOTA 中使用身份切换 (IDSW) 测量关联,当跟踪器错误地交换对象身份或轨道丢失并使用不同的身份重新初始化时,就会发生关联。MOTA 测量三种类型的跟踪错误:False Positive, False Negative, and ID Switch。

MOTA可以较好地反映跟踪准确度,是当前MOT的主要评估指标。但MOTA不能反映MOT算法对同一个目标轨迹长时间跟踪性能表现

5)IDF1: ID F1得分,正确身份标签赋予的检测框与平均ground truth和计算的检测数量的比值。IDF1 强调关联准确性而不是检测。IDF1 使用 IDTP(Identity True Positives),其中当 S ≥ α 的轨迹时,prID 与 grID 匹配。IDF1 是正确识别的检测与地面实况和计算检测的平均数量之比。匈牙利算法选择要匹配的轨迹以最小化 IDFP 和 IDFN 的总和。

6)MT:Mostly Tracked,大多数目标被跟踪的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值大于等于80%的轨迹数量。

7)ML:Mostly Lost,大多数目标被跟丢的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值小于等于20%的轨迹数量。

8) HOTA:高阶跟踪精度: 是用于对跟踪器进行排名的统一度量标准。HOTA 可以分解为对应这五种错误类型的组件:Detection Recall、Detection Precision、Association Recall、Association Precision 和 Localization Accuracy。因此,HOTA 的错误类型是可微的并且是严格单调的,提供有关跟踪器在每种不同基本错误类型方面的性能信息。

HOTA 跟踪错误分为检测错误、关联错误和定位错误。

当跟踪器预测到不存在的检测或未能预测目标的检测时,就会发生检测错误。检测误差可以进一步分为检测召回率(由 FNs 衡量)和检测精度(由 FPs 衡量)

当跟踪器将相同的 prID 分配给具有不同 gtID 的两个检测或将不同的 prID 分配给应该具有相同 gtID 的两个检测时,会发生关联错误。关联误差进一步分为关联召回误差(由 FNA 测量)和关联精度(由 FPA 测量)

当 prDets 在空间上与 gtDets 不完全对齐时,就会发生定位错误。

建议

建议使用MOTA(多目标跟踪准确度)、ID F1得分、HOTA(高阶跟踪精度)。

ref:

[1] 多目标跟踪MOT(Multiple Object Tracking)最全综述_多目标跟踪综述_Orange_sparkle的博客-CSDN博客

[2] HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking. Jonathon Luiten, Aljosa Osep , Patrick Dendorfer. https://ask.qcloudimg.com/draft/7724758/nc73f4qx07.pdf

猜你喜欢

转载自blog.csdn.net/qq_42835363/article/details/130196088