偏差(bias)和方差(variance)

偏差:偏差指的是由模型训练得到的结果与真实值之间的差。

解释:偏差度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。如果偏差太大,我们就要缩小它,也就是缩小与真实值之间的差异,这样训练的效果会更好。

方差:方差指的是由不同训练集得到的结果之间的差异。期望预测是对不同训练集下的同一样本(测试集)的预测值取均值,而不是对一次训练的所有样本的预测值取均值。

解释:方差度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。

(1)定义期望为:                       \bar{f}(x) = E _{D}[f(x;D)]

其中 f(x;D)为训练集D中的x对模型f的输出,y _{D}为模型在数据集中的标记,yx的真实标记。

(2)方差的计算公式为:                var(x) = E_{D} [ (f(x;D)-\bar{f}(x))^{2} ]

(每个x得到的值和平均值的差异再求期望,不同的D会得到不同的方差,通过观察方差的变化来看模型的泛化性)

(3)偏差的计算公式为:                  bias^{2}(x)=(\bar{f}(x)-y)^2

(先求x预测值的期望,再求与实际值y的差)

对于偏差和方差,可以估算。一个模型,使用不同的数据集进行建模,在测试集上进行测试,得到一系列的预测值,预测值的方差就是要求的方差,预测值的均值与真实值的差距是偏差。

下面是我计算的一个例子

猜你喜欢

转载自blog.csdn.net/qq_39696563/article/details/121280161