通过学习得到的一个学习器，我们要知道它的泛化性能，即面对新的数据，算法产生的结果好不好。显然，我们不能用使用过的数据进行评估。所以，对于手里有限的数据集，我们要进行划分，划分为训练集和测试集，测试样本尽量不在训练集中出现，训练集用来训练模型，测试集用来评估模型的性能。这里介绍3种划分方法。
1、留出法
数据集D划分为训练集S和测试集T，D=S并T,S交T=空集。如1000个数据集，500个正样本，500个负样本，700个作为训练集（350个正样本，350个负样本），300个作为测试集（150个正样本，150个负样本），注意数据划分时数据分布尽量一致，例如在分类任务中，样本的类别比例相似。不同的划分，模型评估的结果也会有差别，所以一般会进行若干次随机划分，最后取平均值。
2、交叉验证法
如把数据集划分为10个大小相似的互斥子集，每次用9个作为训练集，剩下的1个作为测试集，则可以进行10次训练和测试，最后返回10次测试结果的均值，称为10折交叉验证。为减小样本的不同划分引入的差别，通常随机使用不同划分重复p次，如10次，则可称为“10次10折交叉验证”。
3、自助法（改变了初始数据集的分布，会引入估计偏差）
每次从数据集D中挑选一个样本拷贝进D'，然后将该样本放回D中，在下次采样仍然可能被采样到。重复执行m次则得到包含m个样本的数据集D'，样本在m次采样中始终不被采样到的概率为（1-1/m）^m，取极值得1/e,约为0.368，即D中约有36.8%的样本未出现在采样集D'中，我们可将D'作为训练集，D-D'作为测试集。
自助法在数据集较小时比较有用，数据集足够时，留出法和交叉验证法更常用