机器学习-偏差和方差

机器学习-偏差和方差

今天我们来讲一下机器学习中的方差和偏差，这两个概念可能在学习数学的时候，能够了解到，但是再机器学习中，这两个概念和数学上的概念有着一些差距

偏差

估计的偏差 (Bias) 被定义为：

其中期望作⽤在所有数据上，θ 是⽤于定义数据⽣成分布的真实值。偏差反映的是模型在样本上的输出与真实值之间的误差，即模型本⾝的精准度，或者说算法本身的拟合能力。

这里解释一下：期望作⽤在所有数据上就是说，我们对所有的数据进行一个学习，得到一个最终的模型，得到的预测值，θ 是⽤于定义数据⽣成分布的真实值，就是预测值对应的真实值。

方差

估计的⽅差 (Variance) 被定义为：

⽅差反映的是模型每⼀次输出结果与模型输出期望之间的误差，即模型的稳定性。
标准差被记为

其中，σ2 是样本 {x(i)} 的真实⽅差，标准差通常被标记为 σ。

误差与偏差和方差的关系

一个复杂的模型并不总是能在测试集上表现出更好的性能，那么误差源于哪？

以回归为例，对测试样本 x，令 $y_{D}$为 x 在数据集上的标记，y 为 x 的真实标记。由于噪声的存在，有可能 $y_{D}$ !=y，f(x; D) 为在训练集D 上学得函数 f 对 x 的预测输出。因此，算法的期望预测可以表⽰为:

不同训练集学得的函数 f 的预测输出的⽅差 (Variance) 为:

期望输出与真实标记之间的差距称为偏差 (Bias) 为：

噪声 (真实标记与数据集中的实际标记间的偏差) 为: