ネットワーク深い学習のためのモデル、と私はそのスピード、小さなメモリ、高精度を願っています。インジケータが使用され、定量的指標の性能を評価する必要があるマップ（正確度、精密度を意味平均）、FPS（毎秒処理ピクチャの数と同じ速度インジケータハードウェア条件で、必要な各画像処理時間）モデルパラメータの大きさ（メモリサイズインジケータ）。
1.mAP（Avearage精度を意味）
地図APは、各カテゴリーの平均値を参照し、領域AP（精度とリコール曲線）曲線PRを指し、したがって最初に理解しなければならない精度（正解率）とリコール（想起）、および関連する精度（精度）、F-測定（F値）、ROC曲線を好みます。
リコールと精度が一般的な評価バイナリ分類問題を使用している、それはポジティブ・クラス・カテゴリーに注力するのが一般的で、他のクラスは、分類の結果は、テストデータの4例は、負のカテゴリされています。
リコールと精度の計算例：
我々は100個のサンプルの猫60、さらに40のための犬のテストセットを含む、モデル・データ・セット識別猫列車仮定する。本当に50匹の猫の合計である猫、52枚のピクチャの合計、つまり、10匹の猫があり、モデルを検出していない、と誤検出には、2つの検出結果にあるように、テスト結果が表示されます。猫より美しいので、私たちはここで、猫のより多くの心配点検している正のカテゴリーと考え猫：そうTP = 50は、TNは38 =、FN = 10、FP = 2、P = 50/52、R = 50/60、 ACC =（+ 38 50）/（50 + 38 + 10 + 2）
なぜ精度とリコールの導入：
多くの場合、このようなImageNetの評価基準として精度を検討しているが、画像分類タスク：再現率と精度は、二つの異なる次元でモデルの性能の尺度です。リコールは、車両のほとんどが同定されているような、比較的高いが、あまり精度、などであるが、自動車用誤認トラックの多くを置く場合でも、単一のカテゴリに特有の、この時間は、理由に該当します。リコールが低い場合、精度は航空機など、高い、非常に正確な結果を検出したが、航空機がたくさんあります識別されていない、その理由は、この時間があります。
リコール対策は「リコール」で、すべての正のサンプルが検出されたではありません。例えば、腫瘍の予測シナリオでは、モデルは、各腫瘍を手放すことができない、高いリコールが必要です。
精密測定は、「精密」で実際に検出された全ての陽性サンプル中のすべての正のサンプルではありません。たとえば、スパム判定シーンで、ごみ箱がスパムであることを保証するために、より高い精度を必要とします。
F-スコア/ F-測定：
上記の分析は、精度と再現率は、二つの側面分類器のパフォーマンスを反映した総合的分類器の性能を評価することはできません単一のインデックスに依存していることがわかりました。一般に、正解率、低い再現率が高い、逆に、より高い再現率、低い精度率。精度と再現率の影響をバランスさせるためには、分類器のより包括的な評価、F-スコアこの包括的な指標の導入。
F-スコアは精度と再現率の調和平均で次のように計算され、：
前記（）
の値は、通常、1の値を精度の相対的な重要性を反映し、特定の性能評価を思い出します。次のように述べました：
場合（1）時間が一般的に使用される
精度を示す値とのような重要なリコールは、次のように計算されます。
（2）場合の時間が、
リコールの重量比、重量比、より高い精度ことを示しています。
（3）場合時、
それは再現率よりも重いの正確な重量を示します。
精度：通常、次のように正確率が計算されるために使用されるモデル予測の正確な全体的な評価は、次のとおりです。
AP / PRカーブ：
すなわち、横軸としてリコール、縦精度は精が異なる値をリコールプロットされ、曲線が得られ、Precisoinのリコールすることができ、APは、曲線PRの下の面積で定義されます。
例えば、子供がよりよく理解され、
分類：
100枚の絵、予測値に対応した猫、犬、鶏3、100真の値に対応する100枚の写真は、モデルの分類は、我々が得る100に分割するがあるとします。その後、我々はトップ20を取ることができます値は同様に計算することができ、予測、ここではそれが計算できると猫を思い出し精ように、トップ10には、いくつかの10猫いくつかの予測、予測の計算値のうち、予測値を取ることができますネコおよび精リコールの群; 100これは予測値を取得するために増加された猫10基を得ることができる（リコール、精度）値をプロットしました。ここではそれを注意する必要があります。予測値を選択するの増加は、リコールが増加しなければならないか、またはそのままであれば、（より多くの予測値は、選択し、より多くの猫はリコールが増加または変わらなければならないことを予測しました）予測値が増加すると、一定のリコールを選択した後、リコール精は、一般的な精度の値の大きい方を選択するために、2つの値を対応するであろう。我々は時間の予測値を追加する場合は、AP（平均精度）に対応cat値であり、その下面積を計算し、約100対（リコール、precisoin）値は、曲線を描くことができる猫のPRを与えます。我々は、次に、PR描か同様曲線におけるイヌおよびニワトリ、ネコ、イヌ、ニワトリ3つのAP値を得ることができれば、最終的なマップモデル全体を（平均Precsionを意味する）を得るために平均化されます。以下の図A、B、C PR 3本の曲線で：
ターゲットの検出：
そこターゲット検出IOU（とクロスオーバー、ユニオン、IOUを超える交差点）は、あるTP（真陽性かどうかを検出BBOX IOUと実際のバウンディングボックスを比較することによって決定されます
）、0.7 IOUの閾値を設定するなど、IOUは0.7 TP、そうでない場合はFPよりも大きいと判定されます。我々は異なるしきい値IOUを設定する際にMMAPは通常の意味を参照の上ので、マップは特に明記マップをしない、一般的に、これらの値は、マップがMMAPを取得する平均化され、異なる値を取得します。
こうして検出マップは以下のように算出した目標：検出IOU閾値での性能と呼ばれるマップ（地図等、APすべてのカテゴリを求め、IOUしきい値のセットが与えられる閾値以下の各IOUを、そして平均して@表し0.5 IOU閾値0.5場合MAP）;最後に、すべてのマップIOU平均閾値で、最終的な性能が得られる評価：MMAP。
AUCとROC曲線：
PR曲線を描くことに加えて、APは、時々 、ROC曲線、AUCを描きます。（記事を参照してください）
ROC（特性receiveroperating）：受信者動作特性は、縦軸としてTPR及びFPR、TPRとの関係を指し、横軸は、次のように計算され、FPRです。
AUC（曲線下面積）：ROC曲線下面積を表しています。
参考ます。https：//zhuanlan.zhihu.com/p/43068926
https://zhuanlan.zhihu.com/p/55575423
https://zhuanlan.zhihu.com/p/70306015
https://zhuanlan.zhihu.com/p/30953081
2.プ（浮動小数点オペランド）
プは：（浮動小数点演算）S小文字は、それは計算量が理解される、浮動小数点オペランドを指します。アルゴリズム/モデルの複雑さを測定するために使用することができます。（モデル）（1 GFLOPS = 10 ^ 9個の用紙GFLOPSで使用されるフリップフロップ）
FLOPS（毎秒小数点演算を浮動）、資本Sは、秒当たりの浮動小数点演算の数を指し、動作速度として理解することができ、それはの尺度であるハードウェア、性能指標。
モデルの複雑さを測定するための一般的な計算フロップ、プは、モデルを実行するときに速く、より小さな表現するために必要な計算量も小さいです。次のように畳み込み演算と完全に接続するために、式は次のとおりです。
さらに、MAC（メモリアクセスコスト、メモリアクセスのコスト）も、モデルの走行速度を測定するために使用される、一般的なMAC = 2つの*プ（1つの加算と1回の乗算アルゴリズム）：
ベースpytorchあるパケットtorchstatがプモデル番号、サイズ・パラメータおよび他の指標は、以下のサンプル・コードを計算することができます。
インポートスタットtorchstat インポートtorchvision.models としてモデル モデル = model.alexnet（） STAT（モデル、（3、224、224））
3.モデルパラメータの大きさ
モデルパラメータは、一般的に、このような軽量モデルの量、多くの場合、いくつかのモデルとして、そしてsqueezeNet、mobilerNet、シャッフルパラメータをモデルに必要な共有メモリサイズの大きさを測定するために使用される、と小さな大きなVggが、GoogleNet、Resnetとモデルの他のパラメータに分けることができます次のようにプ量とパラメータは次のとおりです。
参考ます。https：//www.zhihu.com/question/65305385
https://zhuanlan.zhihu.com/p/67009992