目录
一、指标概念
样本总数 = TP+FP+FN+TN
一般情况下，查准率高，查全率就会偏低，反之。
查准率：预测为正例的实例中真实正例的比例；
查全率：真实正例被预测为正例的比例；
F1-score：度量一个模型的好坏，综合考虑查准率和查全率。
分类结果混淆矩阵
| 正例 | 反例 | |
|---|---|---|
| 正例 | TP(true positive) | FN(false negative) |
| 反例 | FP(false positive) | TN(true negative) |
二、问题解决
1、问题导入
假如重庆交通大学准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下：
- 算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
2）算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
3）经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。
请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少？你认为哪个更优秀？
2、结果表格
| 评价指标 | 算法1 | 算法2 |
|---|---|---|
| 查准率 | 0.975 | 1 |
| 查全率 | 0.951 | 0.91 |
| F1-score | 0.963 | 0.952 |
3、对比分析
由计算结果表格可知，算法1的查准率低于算法2，其余两项则高于算法2。按查准率高，查全率就会偏低，算法1优于算法2。总体而言，算法2较好。
三、总结与参考资料
1、总结
准确理解机器学习算法的常用评价指标。