常用假设评估：对已有数据集划分为训练集和测试集，其中，训练集用于训练参数、完成模型，测试集用于计算误差、验证模型拟合能力。
多模型选择评估：对已有数据集划分为训练集、交叉验证集、测试集，其中，训练集用于训练参数、完成模型，交叉验证集用于计算不同模型交叉验证误差、评估选择模型，测试集用于计算选择模型的（推广）误差、验证模型拟合能力。
过拟合与欠拟合：
训练集在训练时误差很大，不能拟合训练集样本，拟合能力差，即为欠拟合；
训练集在训练时误差很小，能拟合训练集样本，但验证集误差大，不能拟合验证集样本，泛化能力差，即为过拟合。
偏差与方差：
（偏差指模型在训练集中的结果与训练集标签之间的误差），模型欠拟合时，偏差大
（方差指模型在验证集中的误差与训练集间的误差的差异），模型过拟合时，方差大
随模型特征指数的增加，模型由偏差大——能力较好——方差大变化：
随正则化程度增加，模型由方差大——能力较好——偏差大变化
样本数的影响程度与模型原本的偏差/方差大小有关
当偏差高时，模型拟合度低，样本数的增加会使交叉验证误差与训练误差很快趋于一致，过多增加样本数无意义
当方差高时，模型拟合度高，样本数增加会使交叉验证误差与训练误差缓慢趋近，增加样本有一定效果