统计模式识别学习笔记（六）

贝叶斯推理的解析方法

首先，我们来回顾一下贝叶斯法的基本原理。贝叶斯统计关注的是根据数据更新未知参数的先验置信度的问题。我们希望确定参数 $\theta$ 的估计值。贝叶斯认为， $\theta$ 是随机变量的一个实现，具有表示 $\theta$ 的先验知识的先验概率密度函数 $p(\theta )$ 。观测到数据后， $\theta$ 的置信度由 $\theta$ 的后验密度表示。由贝叶斯定理可得：
$$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{{\int }_{{\theta }^{\prime }}p(D|{\theta }^{\prime })p({\theta }^{\prime })d{\theta }^{\prime }}$$

1. 共轭先验概率

贝叶斯定理允许用先验概率 $p(\theta )$ 与似然函数 $p(D|\theta )$ 联合给出后验分布。对于给定的似然函数 $p(x|\theta )$ ，使后验密度 $p(\theta |D)$ 具有相同形式的先验分布族，称为关于 $p(x|\theta )$ 共轭。

• 泊松分布举例
  设从泊松分布（$\lambda >0$，且未知）中取 $n$ 个独立的样本 { x 1 , . . . , x n } \lbrace x_1,...,x_n \rbrace { x1​,...,xn​} 。
  $$p(x|\lambda )=\frac{{\lambda }^{x}exp(-\lambda )}{x!}$$
  其中，整数 $x⩾0$ ，分布的均值和方差都是 $\lambda$ 。

  似然分布为：
  $$p(x_1,...,x_n|\lambda )=\prod _{i=1}^{n}p(x_i|\lambda )=\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}exp(-\lambda n)}{{\prod }_{i=1}^n{x}_i!}$$

  将 $\lambda$ 的先验分布看成具有形状参数 $\alpha$ 及逆尺度参数 $\beta$ 的伽马分布。

• 伽马分布

  形状参数 $\alpha >0$ ，逆尺度参数 $\beta >0$ 的伽马分布具有如下概率密度函数：
  $$p(\gamma |\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\gamma }^{\alpha -1}exp(-\beta \gamma )$$
  其中，$\gamma >0$ 。该分布的均值和方差分别为 $\alpha /\beta ,\alpha /{\beta }^2$ 。

  形状参数 $a=1.5$ ，逆尺度参数 $b=0.96$的gamma分布图像如下图所示：
  
  gamma分布的意义为：随机变量 $X$ 等到第 $\alpha$ 发生所需的等候时间。 $\alpha$ 可理解为一件事发生的次数， $\beta$ 可理解为事件发生一次所需的概率（单位时间内事件发生的平均次数）。gamma分布常用于可靠性理论和排队论。考虑这样一个实例：当第n个人来公交站站点排队等车时，形成这个队伍需要花多少时间？这里的n就是形状参数 $\alpha$ ，单位时间内来的人数就是逆尺度参数 $\beta$ 。

  再回到泊松分布的那个例子， $\lambda$ 的后验概率密度函数
  $$p(\lambda |x_1,...,x_n)=\frac{p(x_1,...,x_n|\lambda )p(\lambda )}{{\int }_{{\lambda }^{\prime }}p(x_1,...,x_n|{\lambda }^{\prime })p({\lambda }^{\prime })d{\lambda }^{\prime }}\propto p(x_1,...,x_n|\lambda )p(\lambda )\propto \frac{{\beta }^{\alpha }}{\Gamma (\alpha ){\prod }_{i=1}^n{x}_i!}{\lambda }^{\alpha +{\sum }_{i=1}^n{x}_i-1}exp(-(\beta +n)\lambda )$$
  上式可简化为
  $$p(\lambda |x_1,...,x_n)\propto {\lambda }^{\alpha +{\sum }_{i=1}^n{x}_i-1}exp(-(\beta +n)\lambda )$$
  形状参数 ${\alpha }^{\prime }=\alpha +{\sum }_{i=1}^n{x}_i$ 和逆尺度参数为
  ${\beta }^{\prime }=\beta +n$
  $$p(\gamma )\propto {\gamma }^{{\alpha }^{\prime }-1}exp(-{\beta }^{\prime }\gamma )$$
  因此， $\lambda$ 的后验分布是参数为 $({\alpha }^{\prime },{\beta }^{\prime })$ 的伽马分布，并且伽马分布是泊松分布参数的共轭先验概率。

最后，我再总结一下共轭先验概率。在贝叶斯统计中，如果先验分布和后验分布属于同一分布或者说同一类，则先验分布和后验分布被称为共轭分布，并且先验分布被称为似然函数的共轭先验。

扫描二维码关注公众号，回复： 11993104 查看本文章

确切的讲，就是假定似然函数已知，选取什么样的先验分布 $p(\theta )$ 会让后验分布和先验分布具有相同的数学形式。

2. 方差已知的正态分布的均值估计

令测量数据的密度模型为均值 $\mu$ 未知而方差 ${\sigma }^2$ 已知的正态模型，则似然函数 $p(x|\mu )$ 为：

p ( x ∣ μ ) = N ( x ; μ , σ 2 ) = 1 2 π σ e x p { − 1 2 ( x − μ σ ) 2 } p(x|\mu)=N(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\lbrace -\frac{1}{2}(\frac{x-\mu}{\sigma})^2 \rbrace p(x∣μ)=N(x;μ,σ2)=2π ​σ1​exp{ −21​(σx−μ​)2}

将均值 $\mu$ 的先验密度为正态分布，该分布的均值为 ${\mu }_0$ 且方差为 ${\sigma }_0^2$ （${\mu }_0,{\sigma }_0^2$称为超参数）：

p ( μ ) = N ( μ ; μ 0 , σ 0 2 ) = 1 2 π σ 0 e x p { − 1 2 ( μ − μ 0 σ 0 ) 2 } p(\mu)=N(\mu;\mu_0,\sigma_0^2)=\frac{1}{\sqrt{2\pi}\sigma_0}exp\lbrace -\frac{1}{2}(\frac{\mu-\mu_0}{\sigma_0})^2 \rbrace p(μ)=N(μ;μ0​,σ02​)=2π ​σ0​1​exp{ −21​(σ0​μ−μ0​​)2}

• 后验分布

  对于独立测量值 { x 1 , . . . , x n } \lbrace x_1,...,x_n \rbrace { x1​,...,xn​} ，后验分布由上述似然函数和先验分布可得：

  p ( μ ∣ x 1 , . . . , x n ) = N ( μ ; μ n , σ n 2 ) = 1 2 π σ n e x p { − 1 2 ( μ − μ n σ n ) 2 } p(\mu|x_1,...,x_n)=N(\mu;\mu_n,\sigma_n^2)=\frac{1}{\sqrt{2\pi}\sigma_n}exp\lbrace -\frac{1}{2}(\frac{\mu-\mu_n}{\sigma_n})^2 \rbrace p(μ∣x1​,...,xn​)=N(μ;μn​,σn2​)=2π ​σn​1​exp{ −21​(σn​μ−μn​​)2}

  其中，

  $$\frac{1}{{\sigma }_n^2}=\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}$$

  $${\mu }_n={\sigma }_n^2(\frac{{\mu }_0}{{\sigma }_0^2}+\frac{{\sum }_i{x}_i}{{\sigma }^2})$$

  可以看到，方差已知的正态分布的均值的共轭先验概率，其本身就是正态分布。后验分布还是非常容易得出来的。

• 预测密度

  p ( x ∣ x 1 , . . . , x n ) = ∫ p ( x ∣ μ ) p ( μ ∣ x 1 , . . . , x n ) d μ = ∫ 1 2 π σ e x p { − 1 2 ( x − μ σ ) 2 } 1 2 π σ n e x p { − 1 2 ( μ − μ n σ n ) 2 } d μ p(x|x_1,...,x_n)=\int p(x|\mu)p(\mu|x_1,...,x_n)d\mu=\int \frac{1}{\sqrt{2\pi}\sigma}exp\lbrace -\frac{1}{2}(\frac{x-\mu}{\sigma})^2 \rbrace\frac{1}{\sqrt{2\pi}\sigma_n}exp\lbrace -\frac{1}{2}(\frac{\mu-\mu_n}{\sigma_n})^2 \rbrace d\mu p(x∣x1​,...,xn​)=∫p(x∣μ)p(μ∣x1​,...,xn​)dμ=∫2π ​σ1​exp{ −21​(σx−μ​)2}2π ​σn​1​exp{ −21​(σn​μ−μn​​)2}dμ
  我们展开指数函数中含 $\mu$ 的指数项，做一些整理，并注意到
  ∫ e x p { − σ 2 + σ n 2 2 σ 2 σ n 2 ( μ − x σ n 2 + μ n σ 2 σ 2 σ n 2 ) 2 } d μ = 2 π σ 2 σ n 2 σ 2 + σ n 2 \int exp\lbrace -\frac{\sigma^2+\sigma_n^2}{2\sigma^2\sigma_n^2}(\mu-\frac{x\sigma_n^2+\mu_n\sigma^2}{\sigma^2\sigma_n^2})^2 \rbrace d\mu=\sqrt{\frac{2\pi\sigma^2\sigma_n^2}{\sigma^2+\sigma_n^2}} ∫exp{ −2σ2σn2​σ2+σn2​​(μ−σ2σn2​xσn2​+μn​σ2​)2}dμ=σ2+σn2​2πσ2σn2​​ ​
  于是有
  p ( x ∣ x 1 , . . . , x n ) = 1 2 π σ σ n 2 π σ 2 σ n 2 σ 2 + σ n 2 e x p { − 1 2 ( x − μ n ) 2 σ 2 + σ n 2 } p(x|x_1,...,x_n)=\frac{1}{2\pi\sigma\sigma_n}\sqrt{\frac{2\pi\sigma^2\sigma_n^2}{\sigma^2+\sigma_n^2}}exp\lbrace -\frac{1}{2}\frac{(x-\mu_n)^2}{\sigma^2+\sigma_n^2} \rbrace p(x∣x1​,...,xn​)=2πσσn​1​σ2+σn2​2πσ2σn2​​ ​exp{ −21​σ2+σn2​(x−μn​)2​}
  在贝叶斯分类器中，可以将其作为类条件密度估计。

• 比例性

  p ( μ ∣ x 1 , . . . , x n ) ∝ p ( x 1 , . . . , x n ∣ μ ) p ( μ ) ∝ e x p { − 1 2 [ ( μ − μ 0 σ 0 ) 2 + ∑ i = 1 n ( μ − μ n σ n ) 2 ] } p(\mu|x_1,...,x_n)\propto p(x_1,...,x_n|\mu)p(\mu)\propto exp\lbrace -\frac{1}{2}[(\frac{\mu-\mu_0}{\sigma_0})^2+\sum_{i=1}^n(\frac{\mu-\mu_n}{\sigma_n})^2] \rbrace p(μ∣x1​,...,xn​)∝p(x1​,...,xn​∣μ)p(μ)∝exp{ −21​[(σ0​μ−μ0​​)2+i=1∑n​(σn​μ−μn​​)2]}
  p ( μ ∣ x 1 , . . . , x n ) ∝ e x p { − 1 2 ( μ − μ n σ n ) 2 } p(\mu|x_1,...,x_n)\propto exp\lbrace -\frac{1}{2}(\frac{\mu-\mu_n}{\sigma_n})^2 \rbrace p(μ∣x1​,...,xn​)∝exp{ −21​(σn​μ−μn​​)2}

3. 多元正态分布的均值及协方差矩阵估计

现多元正态分布均值和协方差矩阵均未知，其模型为：

p ( x ∣ μ , Σ ) = N ( x ; μ , Σ ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 / 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p(x|\mu,\Sigma)=N(x;\mu,\Sigma)=\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}exp\lbrace -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) \rbrace p(x∣μ,Σ)=N(x;μ,Σ)=(2π)d/2∣Σ∣1/21​exp{ −21​(x−μ)TΣ−1(x−μ)}

我们期望估计出给定测量值 $x_1,...,x_n$ 下的 $\mu$ 和 $\Sigma$ 的后验分布 $N(\mu ,\Sigma )$ ，而正如之前所讲的共轭先验函数，可以通过给已知形式的似然函数乘以一个特定形式的先验分布，来让先验分布和后验分布保持同样的数学形式。在估计多元正态分布的均值和协方差时，选择的共轭先验分布服从高斯——威沙特分布 $(Guass-Wishart)$ 。其中，

• 均值是一种服从均值为 ${\mu }_0$ 且协方差矩阵为 $K^{-1}/\lambda$ 的正态分布；

• $K$（协方差矩阵$\Sigma$的逆）是一种服从参数为 $\alpha$ 和 $\beta$ 的威沙特分布。

• 威沙特分布

  假设 $X$ 是一个 $n\ast p$ 的矩阵，其中每一行 $X_i$ 都来自 $p$ 维多元正态分布且彼此独立：
  $$X_i\sim N_p(0,\Sigma )$$、
  则，威沙特分布为 $p\ast p$ 的散异矩阵：
  $$A=X^{T}X=\sum _{i=1}^n{X}_i^T{X}_i$$
  参数为 $\alpha$ 和 $\beta$ 的 $d\ast d$ 威沙特分布的概率密度函数为：
  p ( W ; α , β ) = W i d ( W ; α , β ) = c ( d , α ) ∣ β ∣ α ∣ W ∣ ( α − ( d + 1 ) / 2 ) e x p { − T r ( β W ) } p(W;\alpha,\beta)=Wi_d(W;\alpha,\beta)=c(d,\alpha)|\beta|^{\alpha}|W|^{(\alpha-(d+1)/2)}exp\lbrace -Tr(\beta W) \rbrace p(W;α,β)=Wid​(W;α,β)=c(d,α)∣β∣α∣W∣(α−(d+1)/2)exp{ −Tr(βW)}
  其中， $d\ast d$ 矩阵 $A$ 的迹 $Tr(A)={\sum }_{i=1}^n{A}_{ii},2\alpha >d-1$ ，$\beta$ 是 $d\ast d$ 对称非奇异矩阵，且
  $$c(d,\alpha )=[{\pi }^{d(d-1/4)}\prod _{i=1}^d\Gamma (\frac{2\alpha +1-i}{2}){]}^{-1}$$
  上述威沙特分布的均值 $E(W)=\alpha {\beta }^{-1}$ ，逆矩阵的均值 $E(W^{-1})=(\alpha -(d+1)/2{)}^{-1}\beta$

注意到，在一维情况下时，即取样于一维正态分布时，威沙特分布就是形状参数 $\alpha >0$ 且逆尺度参数 $\beta >0$ 的伽马分布。

将均值为 $m$ 且协方差矩阵的逆为 $A$ 的 $d$ 维正态分布用符号 $N_d(\mu |m,A)$ 表示，得到以下共轭先验分布：

p ( μ , K ) = N d ( μ ; μ 0 , λ K ) W i d ( K ; α , β ) = ∣ λ K ∣ 1 / 2 ( 2 π ) d / 2 e x p { − 1 2 λ ( μ − μ 0 ) T K ( μ − μ 0 ) } ∗ c ( d , α ) ∣ β ∣ α ∣ K ∣ ( α − ( d + 1 ) / 2 ) e x p { − T r ( β K ) } p(\mu,K)=N_d(\mu;\mu_0,\lambda K)Wi_d(K;\alpha,\beta)=\frac{|\lambda K|^{1/2}}{(2\pi)^{d/2}}exp\lbrace -\frac{1}{2}\lambda(\mu-\mu_0)^TK(\mu-\mu_0) \rbrace * c(d,\alpha)|\beta|^{\alpha}|K|^{(\alpha-(d+1)/2)}exp\lbrace -Tr(\beta K) \rbrace p(μ,K)=Nd​(μ;μ0​,λK)Wid​(K;α,β)=(2π)d/2∣λK∣1/2​exp{ −21​λ(μ−μ0​)TK(μ−μ0​)}∗c(d,α)∣β∣α∣K∣(α−(d+1)/2)exp{ −Tr(βK)}

其中，$\lambda$ 用来权衡 ${\mu }_0$ 作为初始均值的信度，$\alpha$ 用来权衡协方差矩阵的初始信度。

接下来，再介绍另外一种分布——学生分布，以及由一维学生 $t$ 分布推广而得的 $d$ 维学生分布。

• $t$ 分布

$t$分布常用于根据小样本来估计呈正态分布且方差未知的总体的均值。如果，总体方差已知，则应该用正态分布来估计总体均值。另外有一种，$Z$ 检定，$t$ 检定改进了 $Z$ 检定，在样本数较大的时候也可以采用 $Z$ 分布。

若 $X$ 与 $Y$ 相互独立，且 $X\sim N(0,1),Y\sim {\chi }^2(n)$ ，则称随机变量 $T=\frac{X}{\sqrt{Y/n}}$ 服从的分布是自由度为 $n$ 的 $t$ 分布，记为 $T\sim t(n)$ ，其概率密度函数表示为：

$$f(t)=\frac{\Gamma (\frac{n+1}{2})}{\sqrt{n\pi }\Gamma (\frac{n}{2})}(1+\frac{t^2}{n}{)}^{-\frac{n+1}{2}}$$

• 多维学生分布

$$p(x;\mu ,\lambda ,\alpha )=S{t}_d(x;\mu ,\lambda ,\alpha )=\frac{\Gamma (\frac{1}{2}(\alpha +d))}{\Gamma (\frac{\alpha }{2})(\alpha \pi {)}^{d/2}}|\lambda {|}^{1/2}[1+\frac{1}{\alpha }(x-\mu {)}^T\lambda (x-\mu ){]}^{-(\alpha +d)/2}$$
其中，$\alpha >0$ 且 $\lambda$ 是一个 $d\ast d$ 对称正定矩阵，分布均值 $E[x]=\mu$ ，分布方差 $Var[x]={\lambda }^{-1}(\alpha -2{)}^{-1}\alpha$ 。

• 后验分布

  结合上述公式，有后验分布形式如下：
  $$p(\mu ,K|x_1,...,x_n)=\frac{p(x_1,...,x_n|\mu ,K)p(\mu ,K)}{\int p(x_1,...,x_n|{\mu }^{\prime },K^{\prime })p({\mu }^{\prime },K^{\prime })d{\mu }^{\prime }d{K}^{\prime }}$$
  同先验分布一样，后验分布的数学形式也是高斯——威沙特分布。
  $$p(\mu ,K|x_1,...,x_n)=N_d(\mu ;{\mu }_n,{\lambda }_{n}K)W{i}_d(K;{\alpha }_n,{\beta }_n)$$
  相较于先验分布，后验分布的参数修正为：
  $$\{\begin{array}{l}{\lambda }_n=\lambda +n\\ {\alpha }_n=\alpha +n/2\\ {\mu }_n=(\lambda {\mu }_0+nm){\lambda }_n\\ 2{\beta }_n=2\beta +(n-1)S+\frac{n\lambda }{{\lambda }_n}({\mu }_0-m)({\mu }_0-m{)}^T\end{array}$$

$K$ 的边缘后验分布服从威沙特分布 $W{i}_d(K|{\alpha }_n,{\beta }_n)$ ，由 $K$ 给定的 $\mu$ 的后验条件分布服从正态分布 $N_d({\mu }_n,{\lambda }_{n}K)$ 。因此可以看出，高斯——威沙特分布是以均值和逆协方差矩阵为参数的多元正态分布的先验分布。其实到这里，就解释了我们为什么选用高斯——威沙特分布作为共轭先验分布。

而 $\mu$ 的后验边缘分布是
$$p(\mu |x_1,...,x_n)=S{t}_d(\mu ;{\mu }_n,({\alpha }_n-\frac{d-1}{2}){\lambda }_n{\beta }_n^{-1},2{\alpha }_n-(d-1))$$

• 预测密度和贝叶斯决策规则

  $$p(x|x_1,...,x_n)=S{t}_d(x;{\mu }_n,\frac{(2{\alpha }_n-(d-1)){\lambda }_n}{2({\lambda }_n+1)}{\beta }_n^{-1},2{\alpha }_n-(d-1))$$
  令 $g_i=p(x|x_1,...,x_{n_i}\in {\omega }_i)p({\omega }_i)$，当 $g_i>g_j,i\ne j,j=1,...,C$ 时，将 $x$ 归入 ${\omega }_i$ 类。

4. 未知类先验概率的情形

如果类先验概率 $p({\omega }_i)$ 未知，那么在使用预测型贝叶斯判别规则时就会遇到困难。这时，我们可以将其处理为依靠数据更新的模型参数。

• 狄利克雷分布

  狄利克雷分布的概率密度函数为

  $$p({\pi }_1,...,{\pi }_C)=\frac{\Gamma ({\sum }_i^C{\alpha }_{0i})}{{\prod }_i^C\Gamma ({\alpha }_{0i})}\prod _{j=1}^C{\pi }_j^{{\alpha }_{0j}-1}$$

  其中，把类先验概率表示为 $\pi =({\pi }_1,...,{\pi }_C),{\alpha }_0=({\alpha }_{01},...,{\alpha }_{0C}),{\alpha }_{0i}>0,i=1,...,C$ 是其参数，$\Gamma (u)$ 是伽马函数，满足 $0<{\pi }_i<1,i=1,...,C$，且 ${\sum }_{i=1}^C{\pi }_i=1$ 。因此，是非常适用于为类别分布建模。狄氏分布的分量均值为 $E[{\pi }_i]=\frac{{\alpha }_i}{{\sum }_{j=1}^C{\alpha }_j}$ ，通常记为 $\pi \sim D{i}_C(\pi ;{\alpha }_0)$ 。

类成员的后验概率为

$$p({\omega }_i|x,D)=\frac{(n_i+{\alpha }_{0i})p(x|{\omega }_i,D)}{{\sum }_j(n_j+{\alpha }_{0j})p(x|{\omega }_j,D)}$$

在这个模型中，影响类概率分布$\pi$ 的因素是训练数据测试值 $D$ 中的样本的数量 $n_i,i=1,...,C$ 。然而，上述内容是在假设 $\pi$ 未知，但可以用能够提供先验信息的训练数据估计出来的前提下展开的。估计结果的有效性有赖于采集数据的方案。

虽然，我们给出了贝叶斯法在正态分布下的预测密度，其积分形式我们已知。但是，在处理较为复杂的概率密度函数时，我们仍有必要进行两个过程的积分，为计算方便，接下来介绍一些数值方法。

5. 结语

五天的时间写出了这篇文章，这一章的难度其实不在于理解贝叶斯法的内涵，反而是统计学中的一些 $pdf$ 具备了一些难度。写到最后发现，文章字数已经达到 $8k$ 了，希望各位读者喜欢。