周志华《机器学习》（西瓜书）目录
https://editor.csdn.net/md?articleId=106864771
————————————————————————
模型评估与选择
- 经验误差与过拟合
- 评估方法
- 性能度量
- 比较检验
- 偏差与方差
经验误差与过拟合
我们把学习器的实际预测输出与样本的真实输出之间的差异称为"误差"(error)。学习器在训练集上的误差称为"训练误差" (training error)或"经验误差" (empirical error) ，在新样本上的误差称为"泛化误差" (generalization error)。
当学习器把训练样本学得"太好"了的时候，很可能巳经把训练样本自身的一些特点当作了所有潜在样本都 会具有的一般性质，这样就会导致泛化性能下降这种现象在机器学习中称为 “过拟合” (overfitting). 与"过拟合"相对的是"欠拟合" (underfitting)，这是指对训练样本的一般性质尚未学好。
内容扩展
一、经验误差（训练误差）与泛化误差
经验误差（训练误差）：模型在训练集上的误差称为“经验误差”（empirical error）或者“训练误差”“training error”。
泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalization error）。
二、偏差与方差
偏差：描述了模型的期望预测（模型的预测结果的期望）与真实结果的偏离程度。偏离程度越大，说明模型的拟合能力越差，此时造成欠拟合。
方差：描述了数据的扰动造成的模型性能的变化，即模型在不同数据集上的稳定程度。 方差越大，说明模型的稳定程度越差。如果模型在训练集上拟合效果比较优秀，但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的。
三、欠拟合与过拟合
过拟合：指过于紧密或精确地匹配特定资料集，以致于无法良好地拟合其他资料或预测未来的观察结果的现象。
欠拟合：相较于数据而言，模型参数过少或者模型结构过于简单，以至于无法捕捉到数据中的规律的现象。
参考文献
[1] https://github.com/datawhalechina/pumpkin-book
[2] https://zhuanlan.zhihu.com/p/33199938
[3] https://blog.csdn.net/zhihua_oba/article/details/78684257