一、引入
我们在训练模型的过程中，需要用未知的数据集（为被训练过的）送入训练好的模型进行验证，来检测该模型是否适用于该项目。哪该如何来进行判断呢？这个就需要评价指标了。模型的评价指标有很多，比如：精确率（查准率）、F1-Score、召回率（查全率）、准确率、P-R曲线、ROC曲线等。我们这里就主要介绍精确率（查准率）、F1-Score、召回率（查全率）、准确率。
二、评价指标介绍
不同的分类指标有不同的含义，比如在商品推荐系统中，希望更精准的了解客户需求，避免推送用户不感兴趣的内容，精确率就更加重要；在疾病检测的时候，不希望查漏任何一项疾病，这时查全率就更重要。当两者都需要考虑时，F1-Score就是一种参考指标。
注意：评价模型过程中，需要不同的评价指标从不同角度对模型进行全面的评价，在诸多的评价指标中，大部分指标只能片面的反应模型的一部分性能，如果不能合理的运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。
精确率（查准率）、F1-Score、召回率（查全率）、准确率 是我们在分类模型中用到的最多的四个评价指标，不同的评价指标有不同的计算公式。
accuracy = 预测正确的/预测的总数
哪在这些公式里面的TP、TN、FP、FN是什么意思呢？哪请看下面的内容：
真正例（True Positive，TP）：表示实际为正被预测为正的样本数量
真反例（True Negative，TN）：表示实际为负被预测为负的样本的数量
假正例（False Positive，FP）：表示实际为负但被预测为正的样本的数量
假反例（False Negative，FN）：表示实际为正但被预测为负的样本数量
三、二分类
什么是二分类？二分类就是我们的预测结果就只有两类，并且这两类是可以用数值来表示的。
假设我们现在有关需求，要来正确判断出猫和狗这两类，于是我们训练的一个模型，现在需要来评判该模型能否在实际中正常使用，于是我们把未知数据集 [猫，猫，狗，狗，猫] 送入模型得到预测结果为 [猫，狗，狗，猫，猫]。
y_true = [猫，猫，狗，狗，猫]
y_pred = [猫，狗，狗，猫，猫]
TP = 1
TN = 2
FP = 1
FN = 1
accuracy = 3/5 = 0.6
precision = 2/(2+1) = 05
recall = 2/(1+1) = 0.5
F1 = (2*0.5*0.5)/(0.5+0.5) = 0.5
from sklearn.metrics import recall_score, f1_score, precision_score, accuracy_score
# [猫，猫，狗，狗，猫]
y_true = [0, 0, 1, 1, 0]
# [猫，狗，狗，猫，猫]
y_pred = [0, 1, 1, 0, 0]
print("accuracy：%.2f" % accuracy_score(y_true, y_pred))
print("precision：%.2f" % precision_score(y_true, y_pred))
print("recall：%.2f" % recall_score(y_true, y_pred))
print("f1-score：%.2f" % f1_score(y_true, y_pred))
四、多分类
多分类就是模型的预测结果不止有两类，有多类，比如说，三类，四类等。那么这时我们该如何求指标呢？
假设现在有三类，真实值为 [猫，狗，狗，鼠，猫，鼠]，预测值为 [鼠，猫，狗，猫，猫，鼠]。
我们可以将其看成 3（3类） 个二分类。
第一个：[猫，other]
y_true = [猫，other，other，other，猫，other]
y_pred = [other，猫，other，猫，猫，other]
TP = 1 TN = 2 FP = 2 FN = 1
precision = 1/3 = 0.33
recall = 1/2 = 0.5
F1 = (2 * precision * recall )/(precision + recall ) = 0.40
第二个：[狗，other]
y_true = [other，狗，狗，other，other，other]
y_pred = [other，other，狗，other，other，other]
TP = 1 TN = 4 FP = 0 FN = 1
precision = 1/1 = 1
recall = 1/2 = 0.5
F1 = (2 * precision * recall )/(precision + recall ) = 0.67
第三个：[鼠，other]
y_true = [other，other，other，鼠，other，鼠]
y_pred = [鼠，other，other，other，other，鼠]
TP = 1 TN = 3 FP = 1 FN = 1
precision = 1/2 = 0.5
recall = 1/2 = 0.5
F1 = (2 * precision * recall )/(precision + recall ) = 0.5
将上面三类进行求平均：
accuracy = 3/6 = 0.5
precision = (0.33+1+0.5)/3 = 0.61
recall = (0.5+0.5+0.5)/3 = 0.5
F1 = (0.4+0.67+0.5)/3 = 0.52
from sklearn.metrics import recall_score, f1_score, precision_score, accuracy_score
from sklearn.metrics import classification_report
# [猫，狗，狗，鼠，猫，鼠]
y_true = [0, 1, 1, 2, 0, 2]
# [鼠，猫，狗，猫，猫，鼠]
y_pred = [2, 0, 1, 0, 0, 2]
measure_result = classification_report(y_true, y_pred)
print('measure_result = \n', measure_result)
print("accuracy：%.2f" % accuracy_score(y_true, y_pred))
print("precision：%.2f" % precision_score(y_true, y_pred, labels=[0, 1, 2], average='macro'))
print("recall：%.2f" % recall_score(y_true, y_pred, labels=[0, 1, 2], average='macro'))
print("f1-score：%.2f" % f1_score(y_true, y_pred, labels=[0, 1, 2], average='macro'))
