1.2贝叶斯线性回归模型

目录

1.2为什么用贝叶斯线性回归

1.2.1最大似然估计（MLE）

目标函数

$$\mathop{\arg\max}_{\theta} p(D|\theta)$$
这里 $\theta$是模型里面的参数， $D$是观测值
优点：计算简单
缺点：容易过度拟合
预测结果是一个固定的值，无法对不确定性建模

1.2.2最大后验（MAP）

目标函数

$$\mathop{\arg\max}_{\theta} p(\theta|D)$$
优点：解决了过度拟合的问题；
缺点：任然没有办法对不确定性建模；

1.2.3 贝叶斯方法

贝叶斯对预测分布建模，

$$p(y|t,D)$$

1.2.4 贝叶斯线性模型定义

一组观测数据$D=(（x_1,y_1）,(x_2,y_2),...(x_n,y_n)),x_i\in R^d , y_i \in R$
$Y_1,Y_2,..Y_n$ 对 w独立
$Y_i \sim N(w^Tx_i,a^{-1})$这里$a=\frac{1}{\sigma^2},a>0$又被称为精度
$w \sim N(0,b^{-1}I)$,b>0;
这里假设$a,b$是已知的。

1.2.4贝叶斯线性回归的后验分布

为了计算后验分布，我们首先需要似然函数，写为：

$$p(D|w)\propto exp(-\frac{a}{2}(y-Aw)^T(y-Aw))$$
这边 $A$是design matrix。
后验分布
$$p(w|D)\propto p(D|w)p(w) \\ \propto \exp(-\frac{a}{2}(y-Aw)^T(y-Aw)-\frac{b}{2}w^Tw)$$
$$p(w|D)=N(w|\mu,\Lambda^{-1})$$
$$\Lambda=aA^TA+bI \\ u=a\Lambda^{-1}A^Ty$$

1.2.5贝叶斯线性回归的预测分布

预测分布

$$p(y|x,D)=\int p(y|x,D,w)p(w|x,D)dw\\ \int p(y|x,w)p(w|D)dw\\ \int N(y|w^Tx,a^{-1}N(w|\mu,\Lambda^{-1}))$$
$$p(y|x,D)=N(u,\frac{1}{\lambda})$$
$$u=\mu^Tx\\ \frac{1}{\lambda}=\frac{1}{a}+x^T\Lambda^{-1}x$$