分类模型的评估
在许多实际问题中，衡量分类器任务的成功程度是通过固定的性能指标来获取。一般最常见使用的是准确率，即预测结果正确的百分比，方法为estimator.score()
1 混淆矩阵
有时候，我们关注的是样本是否被正确诊断出来。例如，关于肿瘤的的判定，需要更加关心多少恶性肿瘤被正确的诊断出来。也就是说，在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵。
真正例（True Positive，TP）：将一个正例判为正例
真反例（True Negative，TN）：对一个反例正确的判为反例
伪反例（False Negative，FN，也称）：将一个正例判为反例
伪正例（False Positive，TP）：对一个反例正确的判为真例
2 精确率(Precision)与召回率(Recall)
精确率：等于TP/(TP+FP)，给出的是预测为正例的样本中真实为正例的比例（判断查得准）
召回率：等于TP/(TP+FN)，真实为正例的样本中预测结果为正例的比例（判断查的全，对正样本的区分能力）
3 其他分类标准
其他分类标准，除了正确率和精确率这两个指标之外，为了综合考量召回率和精确率，我们计算这两个指标的调和平均数，得到F1（F1-score）指标，反映了模型的稳健型
之所以使用调和平均数，是因为它除了具备平均功能外，还会对那些召回率和精确率更加接近的模型给予更高的分数；而这也是我们所希望的，因为那些召回率和精确率差距过大的学习模型，往往没有足够的使用价值。
4 分类模型评估API
sklearn.metrics.classification_report
sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
参数：y_true：真实目标值 y_pred：估计器预测目标值
target_names：目标类别名称 return：字符串，三个指标值，每个类别精确率与召回率与F1
from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import classification_report
#1加载20类新闻数据，并进行分割
newsgroups = fetch_20newsgroups(subset='all')
#分割
x_train,x_test,y_train,y_test = train_test_split(newsgroups.data,newsgroups.target,test_size=0.25)
#2 生成文章特征词，对数据集进行特征抽取
tf = TfidfVectorizer()
#以训练集当中的词的列表进行每篇文章重要性统计
x_train = tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test = tf.transform(x_test)
# 进行朴素贝叶斯算法的预测
mlt = MultinomialNB(alpha=1.0)
mlt.fit(x_train,y_train)
y_predict = mlt.predict(x_test)
print("预测的文章类别为",y_predict)
score = mlt.score(x_test,y_test)
print("准确率为：", score)
print("每个类别的精确率,召回率和F1：", classification_report(y_test, y_predict, target_names=newsgroups.target_names))  |
