序章
恥ずかしながらブログを書くのはご無沙汰でしたが、書こうと思ったのは sklearn のちょっとした API 機能で、これまで評価モデルは総合正解率を使っていましたが、sklearn が提供する分類レポート機能を初めて使ったときは、どのように計算され、どのようにカテゴリー分けされているのか分かりませんでした。このような：
さて、それは一体何でしょうか？正直、初めて見たときは的中率の計算方法しか分かりませんでした。。。
計算する
まず、y_true は実際の結果、y_pred は予測されたラベルであり、次のとおりです。
y_true
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1])
y_pred
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0, 0, 0, 1,
0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1,
0, 0, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1])
何もすることがない人は自分で数えてみましょう ここでの統計結果は、
実際には、最初の 68 サンプルがカテゴリ 0 に属し、最後の 32 サンプルがカテゴリ 1 に属します。
予測では、最初の 68 サンプルのうち 11 個がカテゴリ 1 として予測され、最後の 32 サンプルのうち 8 個がカテゴリ 0 として予測されます。
それではまず、分類レポートの右端のサポートが 68 と 32 である理由について話しましょう。
サポートとはサポート、つまり実際の結果のうちどれだけがこのカテゴリに属するかを意味します。次に、カテゴリー 0 が 68 件、カテゴリー 1 が 32 件です。
左側の再現率では、分母がサポートの数です。
次に、0 カテゴリの再現率の計算は次のようになります:
(68-11)/68=0.8382 (小数点以下 2 桁は 0.84)。
同様に、カテゴリ 1:
(32-8)/32=0.75。
これは、実際に x であるカテゴリのうち、x であると予測されるカテゴリがいくつあるかを意味します。
精度と精度の違いは分母が異なることです。
このときの分母は予測サンプルの分類です。
0 カテゴリ:
57/65=0.8769、小数点以下 2 桁で 0.88。
1 カテゴリ:
24/35=0.6857、小数点以下 2 桁は 0.69 として保持します。
これは、x として予測されたサンプルのうち、正しく x として予測されたサンプルの数を意味します。
この２つを解決すれば、あとはわかりやすいです。
F1 スコア = 2 * 精度 * 再現率 / (精度 + 再現率)。
精度=(100-11-8)/100。
注: 精度は、正しく分類されたすべてのサンプルの割合です。
マクロ avg = 上記カテゴリのスコアの直接平均
注: たとえば、精度率のマクロ avg=(0.88+0.69)/2 は、ほぼ 0.78 に等しくなります。
加重平均 = 上記カテゴリの各スコアの加重 (サポートとして加重) 平均
注: たとえば、加重平均 = (0.88x68+0.69*32)/100 の適合率は、ほぼ 0.82 に等しくなります。
总结：纸上得来终觉浅，很多理论知识学了就忘，其实还是缺乏实践。
实践是发现问题的最好途径。