目次
1. ターゲット検出の共通評価指標
2.速度インジケーター
- フロント パス時間 (ms): 画像の入力から最終結果の出力までにかかる時間。前処理時間 (画像の正規化など)、ネットワーク フロント パス時間を含みます。 - 時間がかかる、後処理に時間がかかる（最大値以外の抑制など）。
- 1 秒あたりのフレーム数 (FPS): 1 秒あたりに処理できる画像の数。
- 浮動小数点演算 (FLOPS): 画像の処理に必要な浮動小数点演算の数は、特定のソフトウェアやハードウェアとは関係がありません。画像のパフォーマンスを公平に比較できます。さまざまなアルゴリズム、検出速度。
3. 精度指標
1. 混同マトリックス
注: T/F は予測の正しさを表し、P/N は予測の結果を表します。
- TP（True Positive）：実際に陽性例であり、判定も陽性例である回数を示す。つまり、陽性例と判定され、判定が正しい回数を意味する。
- FP（False Positive）：実際は負例であるのに正例と判定された回数、つまり正例と判定されたが判定が誤った回数を意味する。
- TN（True Negative）：実際に負例で判定も負例となった回数を示す、つまり負例と判定され判定が正しい回数を意味する。
- FN（False Negative）：実際には正例であるのに負例と判定された回数、つまり負例と判定されたが判定が誤った回数を意味する。
2.精度、再現率、F1、Fβ
（1）精度
精度: すべての陽性例が陽性であると判定された回数に対する、陽性例が正しく判定された回数の比率を表し、予測が正確であるかどうかを評価するために使用されます。
（2）リコール
再現率 Recall: 正例であると正しく判断された回数と、実際に正例であると判断された回数の比を表し、見つかった例の不完全性を評価するために使用されます。
（3）F1
F1 は精度と再現率の調和平均です。
（4）FB
Fβ は、精度と再現率の加重調和平均です。
3IoU(和集合上の交差)
注: 赤枠は検出結果を表し、黒枠は真の値を表します。
IoU インジケーターを使用して、外部長方形フレームの精度を測定できます。
4.FAR、FRR、FAR-FRR曲線
（1）遠い
FAR (False Acceptance Rate) は、他人受入率であり、誤認識率とも呼ばれます。これは、肯定的な例が実際には否定的な例であると誤って判断された回数の比率を表します。
（2）FRR
FRR (False Rejection Rate) は本人拒否率であり、拒否率とも呼ばれます。これは、陰性例が実際に陽性例であると誤って判断された回数の比率を表します。
(3) FAR-FRR 曲線
これは、さまざまなしきい値での認識アルゴリズムの FRR (拒否率) と FAR (誤認識率) の間のバランス関係を反映しています。横軸はFRR（拒絶率）、縦軸はFAR（誤認識率）であり、等誤り率（EER Equal-Error Rate）は拒絶率と誤り率のバランス点です。値が低いほど、アルゴリズムのパフォーマンスが向上します。
5.TPR、FPR、ROCカーブ、AUC
（1）TPR
真陽性率: 真の例/すべての陽性例。
(2) FPR
偽陽性率: 偽陽性/全陰性
(3) ROC曲線
ROC (受信機動作特性曲線) 曲線は、システム評価指標として広く受け入れられている「受信機動作特性」曲線です。 FPRを横軸、TPRを縦軸にとり、各閾値に対応する(FPR,TPR)を座標系に入れる。すべての点を線で結びます。これが ROC 曲線です。
- しきい値の選択: 一般に、ポイントが左上隅に近い場合 (TPR が大きいほど、FPR は小さくなります)、モデルの予測効果は次のようになります。より良い。左上隅の点 (0,1) に到達できれば、それが最も完璧な結果になります。実際のアプリケーションで最適なしきい値を選択する場合は、真陽性の要件と偽陽性の許容範囲も考慮する必要があります。
- モデルの比較: ROC 曲線を使用して、さまざまなモデルを比較することもできます。右側の図には 3 つの ROC 曲線があり、モデル A は B と C の両方よりも優れています。
（4）AUC
AUC (Area Under Curve): ROC 曲線の下の面積。AUC は分類器の品質を判断するためにも使用できます。一般に、AUC 値が大きいほど優れています。
6.P-R曲線、AP、mAP
(1) P-R 曲線
異なる IOU 値 [0, 1] を選択すると、異なる Recall と Precision の値が得られます。Recall を独立変数として、Precision を従属変数として使用して形成される曲線は、P-R 曲線と呼ばれます。
(2)APとmAP
P-R 曲線と座標軸で囲まれた面積が、現在のカテゴリの AP 値です。AP (平均精度) は、各カテゴリのモデルの品質を評価するために使用されます。mAP は AP の平均値です、すべてのカテゴリにわたってモデルがどの程度優れたパフォーマンスを発揮するかを評価するために使用されます。 0
注: N は欠陥カテゴリの総数です
(3) P-R 曲線と ROC の関係
- 正および負のサンプルを含む特定のデータセットの場合、ROC 空間と PR 空間の間には 1 対 1 の対応関係があります。
- ROC 曲線は主に、テスト セット内のサンプルの分布が比較的均一な場合に使用され、テスト セット内の陽性サンプルと陰性サンプルの分布が変化した場合でも、ROC 曲線は変化しないままにすることができます。データの不均衡に直面した場合の ROC の一貫性は、サンプルの正負の割合とは関係なく、モデル自体の予測能力を測定できることを示しています。ただし、この鈍感な特性により、サンプル比率の変化に直面した場合にモデルの予測パフォーマンスを確認することが困難になりますが、このとき、PR 曲線は分類器のパフォーマンスをよりよく反映できます。