PRML笔记2-关于回归参数w的先验的理解

  接上篇，现在考虑给$\mathbf{w}$加入先验，考虑最简单的假设，也就是$\mathbf{w}$服从均值为0，协方差矩阵为${\alpha }^{-1}\mathbf{I}$的高斯分布。
p ( w ∣ α ) = N ( w ∣ 0 , α − 1 I ) = ( α 2 π ) ( M + 1 ) / 2 exp ⁡ { − α 2 w T w } \begin{aligned} p(\boldsymbol{w}|\alpha)&=\mathcal{N}(\boldsymbol{w}|0,\alpha^{-1}\boldsymbol{I})\\ &=(\frac{\alpha}{2\pi})^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(w∣α)​=N(w∣0,α−1I)=(2πα​)(M+1)/2exp{ −2α​wTw}​我们一步一步看一下给定$(\mathbf{x},\mathbf{t},\alpha ,\beta )$后，参数$\mathbf{w}$的概率
$$\begin{array}{rl}p(\mathbf{w}|\mathbf{t})& =\frac{p(\mathbf{t}|\mathbf{w})p(\mathbf{w})}{p(\mathbf{t})}\\ p(\mathbf{w}|\mathbf{t},\mathbf{x},\alpha ,\beta )& =\frac{p(\mathbf{t}|\mathbf{w},\mathbf{x},\alpha ,\beta )p(\mathbf{w}|\mathbf{x},\alpha ,\beta )}{p(\mathbf{t}|\mathbf{x},\alpha ,\beta )}\end{array}$$
由于$\alpha$和$t$独立，因此上式似然函数$p(\mathbf{t}|\mathbf{w},\mathbf{x},\alpha ,\beta )=p(\mathbf{t}|\mathbf{w},\mathbf{x},\beta )$，而$\mathbf{w}$的先验我们已经有了假设，因此得到书上的结果（此处个人理解）：
$$p(\mathbf{w}|\mathbf{x},\mathbf{t},\alpha ,\beta )\propto p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )p(\mathbf{w}|\alpha )$$
现在成了，我们最大化后验概率求$\mathbf{w}$，变成了最大化似然函数$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )$和先验概率$p(\mathbf{w}|\alpha )$乘积的值。由于$$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}(t_n|y(x_n,\mathbf{w}),{\beta }^{-1})=\prod _{n=1}^N\frac{1}{(2\pi {)}^{\frac{1}{2}}{\beta }^{-\frac{1}{2}}}exp\frac{(t_n-y(x_n,\mathbf{w}){)}^2}{-2{\beta }^{-1}}$$
p ( w ∣ α ) = N ( w ∣ 0 , α − 1 I ) = ( α 2 π ) ( M + 1 ) / 2 exp ⁡ { − α 2 w T w } \begin{aligned} p(\boldsymbol{w}|\alpha)&=\mathcal{N}(\boldsymbol{w}|0,\alpha^{-1}\boldsymbol{I})\\ &=(\frac{\alpha}{2\pi})^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(w∣α)​=N(w∣0,α−1I)=(2πα​)(M+1)/2exp{ −2α​wTw}​
因此
p ( t ∣ x , w , β ) p ( w ∣ α ) = [ ∏ n = 1 N 1 ( 2 π ) 1 2 β − 1 2 e x p ( t n − y ( x n , w ) ) 2 − 2 β − 1 ] ( α 2 π ) ( M + 1 ) / 2 exp ⁡ { − α 2 w T w } \begin{aligned} p(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha)& =\left[\prod_{n=1}^N\frac{1}{(2\pi)^{\frac{1}{2}}\beta^{-\frac{1}{2}}}exp{\frac{(t_n-y(x_n,\boldsymbol{w}))^2}{-2\beta^{-1}}}\right] \left(\frac{\alpha}{2\pi}\right)^{(M+1)/2}\exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\} \end{aligned} p(t∣x,w,β)p(w∣α)​=[n=1∏N​(2π)21​β−21​1​exp−2β−1(tn​−y(xn​,w))2​](2πα​)(M+1)/2exp{ −2α​wTw}​两边取ln可得
ln ⁡ p ( t ∣ x , w , β ) p ( w ∣ α ) = − β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + N 2 ln ⁡ β − N 2 ln ⁡ ( 2 π ) + M + 1 2 ln ⁡ α − M + 1 2 ln ⁡ 2 π − α 2 w T w \begin{aligned} \ln{p}(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha) &=-\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2+\frac{N}{2}\ln{\beta}-\frac{N}{2}\ln{(2\pi)} +\frac{M+1}{2}\ln{\alpha}-\frac{M+1}{2}\ln{2\pi}-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} \end{aligned} lnp(t∣x,w,β)p(w∣α)​=−2β​n=1∑N​{ y(xn​,w)−tn​}2+2N​lnβ−2N​ln(2π)+2M+1​lnα−2M+1​ln2π−2α​wTw​我们现在要找的是最可能的$\mathbf{w}$的值，因此只考虑与$\mathbf{w}$有关的部门，去掉常数可得：
ln ⁡ p ( t ∣ x , w , β ) p ( w ∣ α ) = − β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 − α 2 w T w \begin{aligned} \ln{p}(\boldsymbol{t}|\boldsymbol{x},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha)&=-\frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} \end{aligned} lnp(t∣x,w,β)p(w∣α)​=−2β​n=1∑N​{ y(xn​,w)−tn​}2−2α​wTw​这就相当于最小化
β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + α 2 w T w \frac{\beta}{2}\sum_{n=1}^N\{y(x_n,\boldsymbol{w})-t_n\}^2+\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w} 2β​n=1∑N​{ y(xn​,w)−tn​}2+2α​wTw