3.2. The Bias-Variance Decomposition(PRML系列)

频率派、贝叶斯派看over fitting
在这里插入图片描述
由回归问题引出偏差方差分解
在这里插入图片描述在这里插入图片描述
这里对原始要拟拿数据进行了一定的假设,假设原始数据服从一定的分布 p ( t ) p(t) ,(一般是均值是一条光滑曲线,方差属于高斯噪声),假定数据是从服从 p ( t ) p(t) 的分布中采集的,我们期望通过采集的样本进行拟合从而得知原始数据的真实分布。
那么上面对应的期望均值 h ( x ) h(x) 便是最优的对真实的分布的估计(脑海中思考它的图像)
在这里插入图片描述
频率派认为要想估计出样本真实服从的分布 p ( t , x ) p(t,x) 是高度依赖于训练的样本集的,不同的样本集拟合出来的曲线是不一样的,产生的误差是不一样的,因此需要在不同的样本集上求不同拟合曲线求平均拟合误差。
式3-37中第二项表示真实分布的均值与噪声之间波动,取决了真实数据分布,是常数,无法进行优化

考虑特定某个样本集对数据的拟合

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总而言之,频率派认为原始数据是服从确定性分布的,但是估计其真实分布需要不同的数据集训练得到的曲线求平均;贝叶斯派认为原始数据的分布是随机变量,不是确定的

发布了239 篇原创文章 · 获赞 16 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/qq_38662930/article/details/103613944