偏差和方差

Understanding the Bias-Variance Tradeoff

算法在不同训练集上学得的结果可能不同，即便这些训练集来自于同一分布。对于测试样本$x$，学习算法的期望预测为

$$\overline{f(x)}=E_{D}(f(x;D))$$
其中， $D$为训练集， $f$为训练得到的模型。
使用样本数相同的不同训练集训练产生的方差为：
$$var(x)=E_D[(f(x;D)-\overline{f(x)})^2]$$

噪声为：

$$\epsilon^2=E_D[(y_D-y)^2]$$
预测值的期望值与真是标记之间的差别称为偏差（Bias）