总结自 《机器学习》周志华
模型评估与选择
错误率=样本总数/分类错误的样本数
精度=1-错误率
误差：实际预测输出与样本真实输出之间的差异
训练误差：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差
过拟合：学习能力过于强大，将训练样本本身的一些不太一般的特点当作所有潜在样本的特点导致算法泛化性能下降
欠拟合：学习能力过于弱小，还未将训练样本的一般特点学习到位
小心得：泛化误差在实际运用中不能直接获得，因此对于学习算法的选择以及参数配置的选择上无法依赖于泛化误差的评估，而训练误差由于有过拟合现象的出现（即使训练误差很小，泛化误差却可能很大）也不适合用来做模型评估