机器学习与深度学习系列连载： 第一部分 机器学习（十八）模型评估

模型评估

模型评估中有三个关键问题：
 如何获得测试结果？ 评估方法
 如何评估性能优劣？ 性能度量
 如何判断实质差别？ 比较检验

1. 模型评估方法，请参考机器学习第四节[误差分析](https://blog.csdn.net/dukuku5038/article/details/82682855）

2. 性能度量(performance measure)是衡量模型泛化能力的

评价标准，反映了任务需求

（1）错误率 VS 精度

（2）查准率 vs. 查全率

（3）PR图, BEP

（4）F1

（5）ROC, AUC

（6）非均等代价

3. 比较检验

在某种度量下取得评估结果后，是否可以直接比较以评判优劣？

机器学习的理论基础

常用方法：
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据

Friedman 检验图：