贝叶斯线性回归
3.3.1参数分布
关于线性拟合的贝叶斯方法。引入模型参数W的先验分布(噪声精度β被当做常数)。first，由前面公式定义的似然函数p(t|w)是w的二次函数的指数形式。w对应的共轭先验是高斯分布：
均值为m0，协方差为S0。
接着计算后验分布，正比于似然函数与先验分布的乘积。上面得知w的共轭先验是高斯分布，所以后验分布也是高斯分布。通过对指数项配平方，然后使用归一化的高斯分布的结果找到归一化系数，由此都可以得出后验分布。根据2.116得到：
由于后验分布是高斯分布，众数是均值。得到最大后验权向量结果为：
对于高斯先验，考虑零均值各向同性高斯分布，此分布有精度参数α控制：
对应的w的后验分布由下式得到：
后验概率分布的对数由对数似然函数与先验的对数求和得到，同时也是w的函数：
我们可以得到后验分布关于w的最大化等价于对平方和误差函数加上一个二次正则项进行最小化。正则项对应于
λ=α/β。
考虑一个单一输入变量x、一个单一目标变量t、一个形式为y(x,w)=w0 + w1x的线性模型。直接在参数空间中画出先验分布和后验分布。现在我们来分析下面的图：
第一行对应于观测到任何数据点之前的情况，给出了w空间的先验概率分布的图像，以及函数y(x,w)的六个样本，这六个样本的w都是从先验分布中抽取。在第二行，观测到一个数据点之后，数据点的位置(x,t)由右侧一列中的蓝色圆圈表示，左侧一列是对于这个数据点的似然函数p(t,w)关于w的函数图像。似然函数提供了温和的限制，即直线必须穿过数据点附近的位置，其中附近的位置范围由噪声精度β提供。用来生成数据集的真实参数值a0=-0.3、a1=0.5在图中用白色十字表示。把这个似然函数与第一行先验概率相乘，然后归一化，得到了第二行中间图给出的后验分布。从这个后验概率分布抽取w的样本，对应回归函数y(x,w)被画在右侧一列。
与之前一样，这个数据点由右侧一列的蓝色圆圈表示。第二个数据点自身对应的似然函数在左侧一列图中表示。把这个似然函数与第二行的后验概率分布相乘，得到了第三行中间一列的后验概率分布。后面的图均有以上的方法得到后验概率分布和似然函数。
3.3.2 预测分布
在实际应用中，我们需要知道对于新的x预测出的t，计算预测分布函数：
t是训练数据的目标变量的向量。目标变量的条件概率和后验分布由上式表示得出，所以得到预测分布为：
上式中第一项表示数据中的噪声；第二项反映与参数w关联的不确定性。由于噪声和w的分布是相互独立的高斯分布，他们的值可以相加。当额外的数据点被观测到时，后验概率分布会变窄。在N趋近于无穷的情况下，上式的第二项趋于0，从而预测分布的方差只与β控制的具有可加性的噪声相关。
在上图中，调整一个由高斯基函数线性组合的模型，使其适应于不同规模的数据集，再观察对应后的后验概率分布。绿色的曲线对应产生数据点的函数sin(2πx)。N=1，N=2，N=4，N=5的数据集在四幅图中通蓝色圆圈表示。
上图只给出每个点处的预测方差与x的函数关系。现在下图表示对于不同x的预测值之间的协方差：
如果我们使用局部的基函数(高斯基函数)，那么在距离基函数中心较远的区域，预测方差的第二项则会区域零，只剩下噪声β的逆。当对基函数所在的区域之外的区域进行外插时，模型对于做出的预测会变得相当确定。
3.3.3等价核
通过核方法得到的预测均值：
上式被称为平滑矩阵或者等价核。
图中给出了三个不同x值的情况，核函数k(x,x’)的函数关系。它们局限在x=0的周围，在x处的预测分布的均值y(x,MN)可以通过对目标值加权组合得到。距离x较近的数据点赋予较高的权值，距离较远的数据点赋予较低的权值。如图所示。
考虑Y(x)和y(x’)的协方差：
根据等价核的形式，我们可以看到在附近的点处的预测均值的相关性高，而对于距离较远的则低。
上面提到的核函数解决回归问题的另一种方法。直接定义一个局部核函数，然后在给定的观测数据集的条件下，使用核函数对新的输入变量x做预测。