目次
物体検出はコンピュータ ビジョンの分野における重要なタスクであり、その目標は画像またはビデオ内の物体の位置とカテゴリを識別することです。物体検出アルゴリズムのパフォーマンスを評価するために、一連のメトリクスを使用して、モデルの精度、再現率、精度、およびさまざまなカテゴリを処理する能力を定量化します。この記事では、適合率、再現率、F1 スコア、IoU、AP、mAP、PR 曲線などを含む一般的なターゲット検出パフォーマンス指標を詳細に紹介し、関連する式とケースを示します。
精度（Precision）と再現率（Recall）
精度と再現率は物体検出モデルのパフォーマンスを評価するための重要な指標であり、通常は二項分類タスクで使用されます。物体検出では、精度は、モデルによって正しく識別された物体の数と、モデルによって物体であると予測されたすべてのボックスの数との比率を表します。再現率は、オブジェクトの総数に対するモデルによって正しく識別されたオブジェクトの数の比率を表します。
式は次のとおりです。
精度: Acc = ( TP + TN ) / ( P + N )
精度 (精度): TP / ( TP+FP ) = TP / P
再現率（リコール）：TP / (TP + FN ) = TP / T
例: 10 個の物体を含む一連の画像に対してテストされた物体検出モデルがあるとします。モデルは 8 つのオブジェクトを識別し、そのうち 6 つは本物 (真陽性)、2 つは誤認 (偽陽性)、2 つは実際には認識されませんでした (偽陰性) としました。この場合、適合率は 6 / (6 + 2) = 0.75、再現率は 6 / (6 + 2) = 0.75 となります。
F1 スコア (F1 スコア)
F1 スコアは精度と再現率の調和平均であり、モデルの精度と再現率を総合的に考慮するために使用されます。F1 スコアは、不均衡なデータセットを処理する場合、または精度と再現率の間にトレードオフがある場合に役立ちます。
式は次のとおりです。
ケース: 物体検出モデルの適合率が 0.8、再現率が 0.7 であると仮定します。したがって、F1 スコアは 2 * (0.8 * 0.7) / (0.8 + 0.7) = 0.7619 となります。
IoU（Intersection over Union）
IoU は、予測された境界ボックスと実際の境界ボックスの間の重なりの度合いを示す尺度であり、オブジェクト検出ボックスの品質を評価するためによく使用されます。IoU は、予測ボックスとグラウンド トゥルース ボックスの交差面積をそれらの結合面積で割って計算することによって測定されます。
式は次のとおりです。
通常、IoU が特定のしきい値 (0.5 など) より大きい場合、予測されたボックスは正しい予測とみなされます。
ケース: ターゲット検出タスクを考えます。実際のフレームの位置は [20, 30, 100, 150]、予測フレームの位置は [25, 35, 95, 145] です。交差面積は (95 - 25) * (145 - 35) = 6000、実際のボックス面積は (100 - 20) * (150 - 30) = 9000、予測ボックス面積は (95 - 25) * ( 145 - 35) = 6000。結合面積は 9000 + 6000 - 6000 = 9000 です。したがって、IoU は 6000 / 9000 = 0.6667 となります。
PR曲線（適合率-再現率曲線）とAP
PR 曲線は、さまざまな再現率でのモデルの精度をグラフで表現したものです。ターゲット検出では、再現率は実際のすべての陽性サンプル数に対する正しく検出された陽性サンプルの数の比率を指します。一方、適合率は、予測されたサンプル数に対する正しく検出された陽性サンプルの数の比率を指します。モデルによるポジティブサンプル。
簡単な例を使用して、平均精度 (AP) の計算を示します。データセット内に合計 5 個のリンゴがあると仮定します。モデルによってリンゴに対して行われたすべての予測を収集し、信頼度に従って (最高から最低まで) ランク付けします。2 列目は、予測が正しかったかどうかを示します。それがグラウンド トゥルースと一致し、loU ≥ 0.5 であれば、それは正しいです。
表において、Rank 列は信頼度の高い順に並べたボックスのシリアル番号を示し、Correct はボックスが正しいかどうかを示し、Precision は計算された適合率を示し、Recall は計算された再現率を示します。
適合率と再現率の計算は累積的なプロセスであり、各ボックスから独立しているわけではありません。
例えば：
最初のボックスでは、適合率 = 1/1 = 1.0、再現率 = 1/5 = 0.2。
2 番目のボックスでは、精度 = 2/2 = 1.0、再現率 = 2/5 = 0.4、
3 番目のボックスでは、適合率 = 2/3 = 0.67、再現率 = 2/5 = 0.4、
...
この時点で、適合率と再現率に従って PR 曲線を描くことができます。
AP は PR 曲線の下の面積です。サンプリングポイントを設定します。一般に、横軸は 0 ～ 1 の範囲内で平均 10 または 100 のセグメントに分割されます。最終的にサンプリングされた値を加算して除算します。サンプリングポイントの数。もちろん他の方法もあります。
mAP（平均平均精度）
mAP はすべてのカテゴリの AP の平均であり、通常、複数カテゴリの物体検出タスクの全体的なパフォーマンスを測定するために使用されます。さまざまなカテゴリのモデルのパフォーマンスを包括的に評価し、さまざまなカテゴリのモデルのパフォーマンスを正確に反映できます。
ケース: マルチカテゴリのターゲット検出モデルがあり、各カテゴリの計算された AP が次のようになると仮定します。
| カテゴリー | AP |
|---|---|
| 犬 | 0.85 |
| 猫 | 0.75 |
| 車両 | 0.90 |
| 歩行者 | 0.70 |
したがって、mAP は (0.85 + 0.75 + 0.90 + 0.70) / 4 = 0.80 となります。
物体検出パフォーマンス メトリクスは、さまざまなデータセットやタスクでのモデルのパフォーマンスを評価する際に重要な役割を果たします。適合率、再現率、F1 スコア、IoU、AP、mAP、PR 曲線などの指標は、モデルのパフォーマンスをさまざまな側面から包括的に考慮することができ、モデルの利点と限界をより深く理解するのに役立ちます。実際のアプリケーションでは、タスクの特性と要件に応じて、モデルのパフォーマンスを評価する適切な指標を選択することが重要です。