1. 精度、再現率、F1 スコア
画像ターゲットの検出では、一般的に次のような評価指標が使用されます。
- 適合率: 適合率とも呼ばれ、陽性カテゴリーとして分類されたサンプルのうち、実際に陽性カテゴリーであるサンプルの割合を示します。計算式は次のとおりです。精度 = TP / (TP + FP)。ここで、TP は真の例 (モデルが陽性カテゴリーとして正しく予測するサンプルの数)、FP は偽陽性の例 (陽性カテゴリーとして予測されるサンプルの数) です。モデルは誤って肯定的なカテゴリとして予測します)。
- 再現率 (再現率): 再現率とも呼ばれ、陽性カテゴリーとして正しく分類された、真に陽性カテゴリーであるサンプルの割合を示します。計算式は次のとおりです。再現率 = TP / (TP + FN)。ここで、TP は真の例、FN は偽陰性の例 (モデルが陰性カテゴリーとして誤って予測したサンプルの数) です。
- F1値（F1スコア）：適合率と再現率を総合的に考慮し、両者の調和平均です。計算式は次のとおりです: F1 = 2 * (精度 * 再現率) / (精度 + 再現率)。
二、IoU
IoU（Intersection over Union）は、画像ターゲット検出において一般的に使用される評価指標の 1 つで、検出フレームの精度を測定するために使用されます。検出ボックスとグラウンド トゥルース ボックスの間の重なりの程度を、2 つの間の交差と結合の比率を計算することで評価します。
IoUの計算方法は以下のとおりです。
- まず、通常は長方形のボックスの左上隅と右下隅の座標を使用して、2 つのボックスの座標表現を決定します。
- 2つのボックスの交差する部分の面積、交差面積を計算します。交差面積は、2 つのボックスの重なり部分の幅と高さを計算し、それらを乗算することで得られます。
- 2 つのボックスの面積を加算し、交差面積を減算して、2 つのボックスの結合面積を計算します。
- 最後に、交差領域を結合領域で除算して、IoU の値を取得します。計算式は、IoU = 交差面積/結合面積です。
IoU の値の範囲は 0 ～ 1 です。値が 1 に近づくほど、2 つのボックス間の重なりの度合いが高くなります。値が 0 に近づくほど、2 つのボックス間の重なりが低くなるか、まったく重なりません。
ターゲット検出では、通常、検出結果が正しいかどうかの判断基準としてIoU閾値が設定されます。一般的な IoU しきい値は 0.5 または 0.75 です。つまり、IoU がしきい値以上の場合、検出結果は正しいと見なされます。さまざまなタスクや要件に応じて、IoU しきい値を調整して、精度と再現率のバランスを取ることができます。
IoU は、ターゲット検出でアルゴリズムのパフォーマンスを評価したり、重複した検出ボックスを排除する非最大値抑制 (NMS) 処理を実行したり、トレーニング損失関数の計算などに使用されたりするために広く使用されています。
3.地図
mAP (平均平均精度) は、ターゲット検出タスクで一般的に使用される包括的な評価指標であり、複数のカテゴリでモデルのパフォーマンスを測定するために使用されます。
まず、カテゴリごとに、そのカテゴリの適合率-再現率曲線 (PR 曲線) が計算されます。PR 曲線は、信頼しきい値を変更し、さまざまな再現率の下で適合率を計算することによって取得されます。PR 曲線を計算する場合、モデルと実際のラベルの予測結果に基づいて、異なる信頼度のしきい値の下で適合率と再現率を計算する必要があります。
次に、このカテゴリの平均精度 (AP) が PR 曲線に従って計算されます。AP は、このカテゴリのモデルの平均精度を表す PR 曲線の下の面積を積分することによって計算されます。AP の値の範囲は 0 ～ 1 で、値が大きいほど、このカテゴリでのモデルのパフォーマンスが向上します。
最後に、すべてのクラスの AP を平均して mAP を取得します。mAP はすべてのカテゴリ AP の平均であり、複数のカテゴリでのモデルのパフォーマンスを包括的に評価するために使用されます。
AP と mAP を計算する場合、通常、検出結果の正しさを判断するために特定の IoU しきい値 (0.5 または 0.75 など) が使用されます。つまり、検出フレームと実際のフレーム間の IoU が異なる場合にのみ使用されることに注意してください。しきい値以上の場合、検出が考慮されます。結果は正しいです。
mAP は、ターゲット検出で最も一般的に使用される評価指標の 1 つであり、さまざまなカテゴリのモデルの精度と再現率を包括的に考慮できます。データセット全体におけるモデルのパフォーマンスを総合的に評価し、より包括的で正確なパフォーマンス指標を提供します。
4.AP
4.1 定義
AP (Average Precision) は、ターゲット検出の分野で一般的に使用される評価指標の 1 つで、さまざまなカテゴリの検出アルゴリズムのパフォーマンスを測定するために使用されます。AP の計算方法は、適合率-再現率曲線 (PR 曲線) に基づいています。
まず、カテゴリごとに、モデルの予測結果と真のラベルに基づいて、さまざまな信頼度のしきい値での適合率と再現率が計算されます。次に、これらの適合率と再現率のデータに基づいて PR 曲線が描画されます。
PR 曲線では、横軸にさまざまな再現率の値、縦軸に対応する精度を使用して、曲線を取得できます。AP は、曲線の下の面積を積分することによって計算されます。つまり、PR 曲線と縦軸の間の面積を計算します。
モデルのパフォーマンスをより包括的に評価するために、通常、複数の信頼しきい値の下にある AP が計算され、これらの AP が平均されて mAP (平均平均精度) が取得されます。mAP は、ターゲット検出で最も一般的に使用される包括的な評価指標の 1 つであり、さまざまなカテゴリのモデルの精度と再現率を同時に考慮できます。
AP と mAP の値の範囲は 0 ～ 1 で、値が大きいほどパフォーマンスが向上します。AP または mAP が 1 に達すると、モデルがすべてのカテゴリで完全な精度と再現率を達成したことを意味します。
AP と mAP を計算する場合、通常、検出結果の正しさを判断するために特定の IoU しきい値 (0.5 または 0.75 など) が使用されます。つまり、検出フレームと実際のフレーム間の IoU が異なる場合にのみ使用されることに注意してください。しきい値以上の場合、検出が考慮されます。結果は正しいです。
4.2 分類
4.2.1 AP
AP (さまざまなスケールでの平均精度) は、さまざまなスケールでのターゲット検出アルゴリズムのパフォーマンスを評価するために使用される平均精度の計算方法です。
物標検出タスクでは、遠くにある物体は小さく、近くにある物体は大きくなるなど、物体の大きさが変化することがあります。従来の平均精度 (AP) の計算方法では、ターゲット オブジェクトの重要性がすべてのスケールで同じであると仮定し、スケールの変更が検出パフォーマンスに与える影響を無視しています。さまざまなスケールでモデルの検出パフォーマンスをより正確に評価するために、AP の概念が導入されます。
APの計算方法は対象ボックスの規模情報に基づきます。具体的な手順は次のとおりです。
- カテゴリごとに、すべてのターゲット ボックスがそのスケールに従ってグループ化されます。たとえば、ターゲット ボックスの面積に従ってグループ化できます。
- 各スケール グループについて、このグループ内のオブジェクト ボックスの適合率-再現率曲線 (PR 曲線) が計算されます。ここでの適合率と再現率は、従来の AP 計算方法と同じ方法で計算されます。
- 各スケール グループ内で、そのグループの平均精度 (AP) が計算されます。つまり、グループの PR 曲線下の面積を積分して AP 値を取得します。
- 最後に、すべてのスケール グループの AP を平均して AP を取得します。AP は、さまざまなスケールでのモデルの平均精度を表します。
AP を使用して物体検出アルゴリズムを評価することで、スケールの変更がパフォーマンスに与える影響をより正確に考慮できます。さまざまなスケールでパフォーマンス指標を提供するため、モデルのパフォーマンス評価がより包括的かつ正確になります。これは、マルチスケール オブジェクトを処理する必要があるアプリケーション シナリオにとって非常に重要です。
4.2.2 APr
APr (異なる再現率での平均精度) は、さまざまな再現率の下でターゲット検出アルゴリズムのパフォーマンスを評価するために使用される平均精度の計算方法です。
ターゲット検出タスクでは、アプリケーションのシナリオが異なれば、再現率の要件も異なる場合があります。たとえば、シーンによっては、ターゲット オブジェクトをできるだけすべて見つける必要があるため、高い再現率にさらに注意を払う必要があります。従来の平均適合率 (AP) の計算方法では、さまざまな再現率が検出パフォーマンスに及ぼす影響を考慮せずに、すべての再現率の下で適合率を平均します。さまざまな再現率の下でモデルのパフォーマンスをより正確に評価するために、APr の概念が導入されます。
APr の計算方法は対象ボックスの再現率情報に基づきます。具体的な手順は次のとおりです。
- カテゴリごとに、再現率に従ってすべてのオブジェクト ボックスをグループ化します。たとえば、オブジェクト ボックスの再現率に従ってグループ化できます。
- 各再現グループについて、そのグループ内のオブジェクト ボックスの適合率-再現率曲線 (PR 曲線) を計算します。ここでの適合率と再現率は、従来の AP 計算方法と同じ方法で計算されます。
- 各再現グループ内で、そのグループの平均適合率 (AP) を計算します。つまり、グループの PR 曲線下の面積を積分して AP 値を取得します。
- 最後に、すべての想起グループの AP を平均して APr を取得します。APr は、さまざまな再現率の下でのモデルの平均適合率を表します。
APr を使用して物体検出アルゴリズムを評価することにより、リコールの変化がパフォーマンスに及ぼす影響をより正確に考慮できます。さまざまな再現率の下でパフォーマンス指標を提供し、モデルのパフォーマンス評価をより包括的かつ正確にします。これは、さまざまなアプリケーション シナリオで精度と再現率のバランスをとる必要がある物体検出タスクにとって非常に重要です。
4.2.3 両者の違い
APs と APr は、さまざまなカテゴリでのターゲット検出アルゴリズムのパフォーマンスを評価するための 2 つの異なる平均精度 (Average Precision) 計算方法です。
AP (異なるスケールでの平均精度) は、ターゲット スケールの変化に基づく平均精度の計算方法です。物標検出タスクでは、遠くにある物体は小さく、近くにある物体は大きくなるなど、物体の大きさが変化することがあります。このスケールの変更が検出パフォーマンスに与える影響を考慮するために、AP はさまざまなスケールで検出結果の精度を計算し、平均値を計算します。これにより、さまざまなスケールでのモデルの検出パフォーマンスをより包括的に評価できるようになります。
APr (Average Precision at Different Recalls) は、再現率の変化に基づいた平均適合率の計算方法です。ターゲット検出タスクでは、アプリケーションのシナリオが異なれば、再現率の要件も異なる場合があります。たとえば、シナリオによっては、高い再現率がより重要になる場合があり、可能な限りすべてのターゲット オブジェクトを見つける必要があります。さまざまな再現率の下でモデルのパフォーマンスを評価するために、APr はさまざまな再現率しきい値を設定して対応する適合率を計算し、平均値を計算します。
要約すると、AP は検出パフォーマンスに対するオブジェクト スケールの変更の影響に焦点を当て、APr は検出パフォーマンスに対する再現率の変化の影響に焦点を当てます。これら 2 つの方法により、特定のシナリオにおける物体検出アルゴリズムのパフォーマンスをより包括的に評価できます。