一、偏差、方差和噪声的含义
1.偏差（bias）是期望输出与真实标记的差别，度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。
2.方差（variance）度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。
3.噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
4.偏差-方差分解（bias-variance decomposition）是解释学习泛化性能的一种重要工具；泛化性能是由学习算法的能力、数据的充分性和学习任务本身的难度所共同确定的。一般来说，偏差与方差是有冲突的，这称为偏差-方差窘境（bias-variance dilemma）。给定一个学习任务，当训练不足的时候（假设我们能够控制训练程度），学习算法本身的拟合能力不够强，数据扰动不足以使学习器发生显著变化，此时偏差主导了泛化错误率；但是当训练程度加深，学习器的拟合能力逐渐增强的时候，数据扰动会被学习器学到，这时，方差主导了泛化错误率；在训练充足后，学习器的学习能力已经十分强的时候，训练数据的轻微扰动都会导致学习器的发生显著变化，若训练数据自身的、非全局的特性被学习器学到了，那么将发生过拟合。