上图矩阵中1是正例，0是只负例
对于二分类问题，可以将真实类别和分类器预测类别组合为：
真正例(true positive TP)：真实类别为正例，预测类别为正例；
假正例（false positive FP）: 真实类别为负例，预测类别为正例；
假负例（false negative FN）:真实类别为正例，预测类别为负例；
真负例（true negative TN）：真实类别为负例，预测类别为负例；
分类模型评价指标有：
1.错误率和精度
错误率(error_rate)和精度（accuracy）是分类任务中最常用的两个指标，既适用于二分类任务也适用于多分类任务；
error_rate = (FP+FN)/(P+N)
accuracy = （TP+TN）/(P+N)
accuracy = 1-error_rate
错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例；
error_rate =
2.查准率、查全率和F1
查准率（准确率）P = TP/(TP+FP)
查全率（召回率）R = TP/(TP+FN)
F1值：F1 = 2/(1/R + 1/P) = 2*P*R/(P+R)
查准率和查全率是一对矛盾的指标，一般来说，查准率高时，查全率往往偏低，而查全率高时，查准率往往偏低；平衡点BEP是查准率= 查全率时的取值，当一个学习期的BEP高于另一个学习器的，则可以认为该学习器优于另一个；
但BEP过于简化，更常用的是F1值；另外再一些应用中可能对查准率和查全率的重视程度不同，可以对它们施加不同的偏好，定义为：
3.ROC和AUC
ROC曲线的纵轴是“真正例率”（TPR），横轴是假正例率（FPR）,
其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)
绘图过程：给定m+个正例率和m-个负例率，根据学习器的预测结果对样例进行排序，然后把分类阈值设为最大，即把所有样本都预测为反例，此时TPR和FPR都为0，在坐标（0,0）处标记一个点，然后，将分类阈值依次设为每个样例的预测值，即依次将每个样例预测为正例；
若一个分类器的ROC曲线将另一个分类器的曲线完全包住，则可认为该分类器优于另一个分类器；若两个分类器之间有交叉，则比较难比较优劣，此时较为合理的判断指标是AUC,即ROC曲线下的面积。