基本概念
误差（Error）：是模型的预测输出值与其真实值之间的差异。
训练（Training）：通过已知的样本数据进行学习，从而得到模型的过程。
训练误差（Training Error）：模型作用于训练集时的误差。
泛化（Generalize）：由具体的、个别的扩大到一般的，即从特殊到一般，称为泛化。对机器学习的模型来讲，泛化是指模型作用于新的样本数据（非训练集）。
泛化误差（Genaralization Error）：模型作用于新的样本数据时的误差。
过拟合和欠拟合
模型容量（Model Capacity）：是指其拟合各种模型的能力。
过拟合（Overfitting）：是某个模型在训练集上表现很好，但在新样本上表现差。模型将训练集的特征学习得太好，导致一些非普遍规律被模型接纳和体现，从而在训练集上表现好，但在新样本上表现差。反之称为欠拟合（Underfitting），即模型对训练集的一般性质学习较差，模型作用于训练集时表现不好。
模型选择
模型选择（Model Selection）：针对某个具体的任务，通常会有多种模型可供选择，对同一个模型也会有多组参数，可以通过分析、评估模型的泛化误差，选择泛化误差最小的模型。
模型评估
通过实验测试，对模型的泛化误差进行评估，选出泛化误差最小的模型。待测数据集全集未知，使用测试集进行泛化测试，测试误差即为泛化误差的近似。
- 测试集和训练集尽可能互斥
- 测试集和训练集独立同分布
常用的模型评估方法：
留出法（Hold-out）
将已知数据集分成两个互斥的部分，其中一部分用来训练模型，另一部分用来测试模型，评估其误差，作为泛化误差的估计。
- 两个数据集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入人为的偏差。
- 保持样本的类别比例相似，即采用分层采样（Stratified Sampleing）。
- 数据分割存在多种形式会导致不同的训练集、测试集划分，单次留出法结果往往存在偶然性，其稳定性较差，通常会进行若干次随机划分、重复实验评估取平均值作为评估方法。
- 数据集拆分成两部分，每部分的规模设置会影响评估结果，训练、测试的比例通常为7:3、8:2等。
交叉验证法（Cross Validation）
将数据集划分k个大小相似的互斥的数据子集，子集数据尽可能保证数据分布的一致性（分层采样），每次从中选取一个数据集作为测试集，其余用作训练集，可以进行k次训练和测试，得到评估均值。
该验证方法也称作k折交叉验证（k-fold Cross Validation）。使用不同的划分，重复p次，称为p次k折交叉验证。
留一法（Leave-One-Out, LOO）
是k折交叉验证的特殊形式，将数据集分成两个，其中一个数据集记录条数为1，作为测试集使用，其余记录作为训练集训练模型。
训练出的模型和使用全部数据集训练得到的模型接近，其评估结果比较准确。
缺点是当数据集较大时，训练次数和计算规模较大。
自助法（Bootstrapping）
是一种产生样本的抽样方法，其实质是有放回的随机抽样。即从已知数据集中随机抽取一条记录，然后将该记录放入测试集，同时放回原数据集，继续下一次抽样，直到测试集中的数据条数满足要求。
采用该方法，数据集中的有些数据会在测试集中出现多次，还有一些数据不会出现。
通过有放回的抽样获得的训练集去训练模型，不在训练集中的数据（约总数量的1/3）去用于测试，这样的测试结果被称作包外估计（Out-of-Bag Estimate, OOB）。
常用模型评估方法的适用场景
留出法
- 实现简单、方便，在一定程度上能评估泛化方法
- 测试集和训练集分开，缓解了过拟合
- 一次划分，评估结果偶然性大
- 数据被拆分后，用于训练，测试的数据更少了
交叉验证法/留一法
- k可以根据实际情况设置，充分利用了所有样本
- 多次划分，评估结果相对稳定
- 计算比较繁琐，需要进行k次训练和评估
自助法
- 样本集较小时可以通过自助法产生多个自助样本集，且有约36.8%的测试样本
- 对于总体的理论分布没有要求
- 无放回抽样引入了额外的偏差
几种方法的选择
- 已知数据集数量充足时，通常采用流出法或者k折交叉验证法
- 对于已知数据集较小且难以有效划分训练集和测试集的时候，采用自助法
- 对于已知数据集较小且可以有效划分训练集和测试集的时候，采用留一法