全部笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴
一、经验误差与过拟合
我们把学习器的实际预测输出与样本的真实输出之间的差异称为 “误差” （error)，学习器在训练集上的误差称为“训练误差”（training error）或 “经验误差”，在新样本上的误差称为“泛化误差”。显然我们的目的时找一个泛化误差小的学习器，但因为我们事先不知道新样本是怎样的，所以只能努力使经验误差最小化。但是当经验误差足够小，甚至对所有的训练样本都分类正确，会产生过拟合。
多种因素可能导致过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于学习能力低下而造成的欠拟合比较容易克服，例如在决策树学习中扩展分支、 在神经网络学习中增加训练轮数等，而过拟合则很麻烦。
二、评估方法
- 留出法：将数据集分为训练集和测试集。
- 交叉验证法：例如分成1、2、3、4四部分，我们可以先以1、2、3为训练集，以4为测试集；然后以1、2、4为训练集，以3为测试集…
- 自助法：以自主采用法为基础，适用于数据集较小、难以有效划分训练/测试集时很有用；此外他也能从原始数据中产生多个不同的训练集，对集成学习很有帮助。
调参和模型选择也同样重要，大多数的学习算法的参数都需要设定，参数的细小差别可能会对产生的模型性能产生显著的变化。
三、性能度量
性能度量（performance measure）是衡量模型泛化能力的评价标准。模型的 “ 好坏 ” 是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。
四、比较检验
比较啥呢？
- 测试集和训练集上的性能比较
- 不同大小的测试集
- 相同大小的测试集但是测试样例不同
- 算法本身具有随机性，相同的参数在同一个测试集上运行多次
相关的检验方法直接对照课本的例子看吧。
五、偏差与方差
期望输出与真实标记的差别称为偏差，偏差–方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
下一章传送门：西瓜书读书笔记（三）-线性模型