3.3. Bayesian Linear Regression(PRML 系列)

在这里插入图片描述
线性回归回顾

一开始使用最小二乘估计从概率角度考虑对应MLE(极大似然拟合),容易过拟合,引入了Regularized LSE(有两种:Lasso及Ridge)从概率角度来看,属于最大后验回归。对于
p ( w ) p(w) 如果属于高斯分布,则为Ridge,如果属于Laplace,则对应Lasso回归。
不论是最小二乘估计还是正则化的最小二乘估计,都是属于频率派,即认为 w w 是未知常数,属于点估计。
在这里插入图片描述
在这里插入图片描述
贝叶斯估计
要求出后验概率(并不是优化问题)
i n f e r e n c e : p o s t e r i o r ( w ) , p r e d i c t i o n 主要有两个问题:inference :求posterior(w),prediction
在这里插入图片描述

3.3.1 Parameter distribution

在这里插入图片描述
在这里插入图片描述
在贝叶斯统计中,如果后验分布与先验分布属于同类,则先验分布与后验分布被称为共轭分布,而先验分布被称为似然函数的共轭先验。即p(w)先验分布与似然分布 p ( t x , w , β ) p(t|x,w,\beta) 有相同的分布
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发布了239 篇原创文章 · 获赞 16 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/qq_38662930/article/details/103616970
今日推荐