第二章 模型评估与选择
- 我们希望得到泛化误差小的学习器，然而，我们事前并不知道新样本是什么样，实际能做的是努力使经验误差最小化
- 评估方法
- 留出法
- 交叉验证法
- 自助法
- 我们用测试集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参
- 在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型。这个模型在训练过程中使用了所有m个样本，这才是我们最终提交给用户的模型
- 性能度量
- 错误率与精度
- 查准率、查全率与F1
- ROC与AUC
- 代价敏感错误率与代价曲线：不同类型错误所造成的后果不同
- 泛化误差可以分解为偏差、方差和噪声之和
- 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
- 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
- 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度
- 给定学习任务，假定我们能控制学习算法的训练程度，则在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率；随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率
- 机器学习过程涉及许多类型的代价，除了误分类代价，还有测试代价、标记代价、属性代价等
- 代价敏感学习专门研究非均等代价下的学习