一、分类指标
- 样本中存在两种两种标签：样本真实标签和模型预测标签。
- 根据这两个标签可以得到一个混淆矩阵：
- 每一行代表样本的真实类别，数据总数表示该类别的样本总数。
- 每一列代表样本的预测类别，数据总数表示该类别的样本总数。
- 分类模型的评价指标主要基于混淆矩阵。
二、混淆矩阵
三、正确率
- 用来表示模型预测正确的样本比例。
- 定义如下：
四、精度和召回率
- 精度和召回率是比正确率更好的性能评价指标，是对某个类别的评价。
- 精度：（查准率）是指正确预测的正样本占所有预测为正样本的比例：
- 召回率：（查全率）又称灵敏度和命中率，是指正样本中被正确预测的比例：
五、F1值
- 精度和召回率是负相关的：高精度往往对应召回率
- F值即是综合考虑精度和召回率的一个指标：
其中为β正数，其作用是调整精度和召回率的权重。β越大，召回率的权重更大；β越小，则精度的权重更大。 当β正数为1时为F1值，精度和召回率权值一样。
六、ROC与AUC
- ROC曲线和AUC是一个从整体上评价二分类模型优劣的指标，其中AUC是ROC曲线与其横轴之间的面积。AUC值越大说明模型越好。
- ROC曲线通过真阳率和假阳率两个指标进行绘制：
- 真阳率是真实标签为正样本里预测也为正样本的比例，用TPR表示
- 假阳率是真实标签为负样本里预测为正样本的比例，用FPR表示