一. 机器学习的目标
什么模型好？？
泛化能力强！！！能很好的适用于没见过的样本。例如 错误率低 精度高
我们手上没有未知的样本，如何可靠评估？？
关键：获得可靠的测试集数据？
测试集（用于评估）应该与训练集（用于模型学习）"互斥"
二. 机器学习的评估方法
1.留出法
注意：
1.测试集不能太大，不能太小
2.多次重复划分
3.保持数据分布一致性
2.自助法
3.交叉验证法
三. 机器学习的评估度量标准
性能度量是衡量模型泛华能力的数值评价标准，反映了当前问题
使用不同的性能度量可能会导致不同的评判结果
关于模型好坏的判断，不仅取决于算法和数据，还取决于当前任务需求
分类问题的常用性能度量：
错误率：
精度：
二分类混淆矩阵：
准确率表示的是对于预测结果是正例的部分，的确是正例的概率
召回率表示的是真是情况是正例的部分，预测也是正例的概率
F1：
AUC:
回归问题的常用性能度量
平均绝对误差：
均方误差：
均方根误差：
R平方：
