统计模式识别学习笔记（四）

密度估计的参数法

一、前言回顾

在上一节中，我们借用了自动控制原理中稳定裕度的概念对最小错误贝叶斯决策和最小风险贝叶斯决策进行了深入解读。并讨论了当类概率密度函数未知时，可以采用简单的模型来构造函数。最后，着重笔墨讲了高斯分类器（二项判别规则），并提到当协方差矩阵奇异时，高斯分类器就会出现问题。

设来自 ${\varpi }_j$ 类的数据向量采样于均值为 ${\mu }_j$ ，协方差矩阵为 ${\Sigma }_j$ 的正态分布，则判别函数为：
$$g_j(x)=log(p({\varpi }_j))-\frac{1}{2}log(|{\Sigma }_j|)-\frac{1}{2}(x-{\mu }_j{)}^T{\Sigma }_j^{-1}(x-{\mu }_j)$$

若 ${\Sigma }_j$ 奇异，则矩阵无法求逆，且因奇异矩阵的行列式为零也将无法计算判别规则中的对数运算。接下来介绍几种避免奇异协方差矩阵的方法。

二、处理高斯分类器的奇异问题

1. 朴素贝叶斯

   避免奇异协方差矩阵的最简单方法是使用对角协方差矩阵，即将 ${\hat{\Sigma }}_j$ 的所有非对角元素置为零。因此，形成数据向量的各特征在所属类上是相互独立的，可以将类概率条件密度函数写成：

   $$p(x|{\varpi }_j)={\Pi }_{l=1}^{d}N(x_l;{\hat{\mu }}_{jl},{\hat{\sigma }}_{j,l}^2)$$

   其中， ${\hat{\mu }}_{jl}$ 是 ${\hat{\mu }}_j$ 的第 $l$ 个分量，即 ${\varpi }_j$ 类的样本均值的第 $l$ 个分量， ${\hat{\sigma }}_{j,l}^2$ 是矩阵 ${\hat{\Sigma }}_j$ 的第 $l$ 个对角元素，即 ${\varpi }_j$ 类的样本方差的第 $l$ 个分量：

   $${\hat{\sigma }}_{j,l}^2=\frac{1}{n-1}{\Sigma }_{i=1}^n(x_{ij}-{\hat{\mu }}_{jl}{)}^2$$

   $N(x,\mu ,\sigma )$ 是遵循正态分布的单变量概率密度函数，均值为 $\mu$ ，方差为 ${\sigma }^2$ 。判别规则为：若对所有的 $j\ne i$ ，均有 $g_i>g_j$ ，则将 $x$ 归入 ${\varpi }_i$ 类，其中：

   $$g_j(x)=log(p({\varpi }_j))-{\Sigma }_{l=1}^{d}log({\hat{\sigma }}_{j,l})-\frac{1}{2}{\Sigma }_{l=1}^d\frac{(x_l-{\hat{\mu }}_{jl}{)}^2}{{\hat{\sigma }}_{j,l}^2}$$

所以，当对角线型协方差矩阵下的高斯分类器将每一个类条件概率密度分量模拟成一个独立的单变量正态分布时，就能够将广义的贝叶斯分类器看成给定分量的任何单变量分布。

2. 投影到子空间

   另一种方法是把数据投影到子空间，这时的 ${\hat{\Sigma }}_j$ 是非奇异的，可能会使用主成分分析，然后在降维空间上使用高斯分类器。

3. 线性判别函数

   *前面说：设来自 ${\varpi }_j$ 类的数据向量采样于均值为 ${\mu }_j$ ，协方差矩阵为 ${\Sigma }_j$ 的正态分布。*即使，数据取自不同协方差矩阵的多元正态分布，抽样的多变性也可能意味着假设数据来自等协方差矩阵会更好些，即假设类协方差矩阵 ${\Sigma }_1,...,{\Sigma }_C$ 相同。此时，判别函数简化为：

   $$g_j(x)=log(p({\varpi }_j))-\frac{1}{2}{\hat{\mu }}_j^T{S}_W^{-1}{\hat{\mu }}_j+x^T{S}_W^{-1}{\hat{\mu }}_j$$

   其中， ${\hat{\mu }}_j$ 为 ${\varpi }_j$ 类的样本均值， $S_W$ 为全部类的协方差矩阵的估计（也被称为合并协方差矩阵），这是规范的线性判别函数；判别规则为：对所有的 $j\ne i$ ，若 $g_i>g_j$ ，则 $x$ 属于 ${\varpi }_i$ 类。全部类的协方差矩阵的最大似然估计由类内样本的协方差矩阵汇集而成：

   $$S_W={\Sigma }_{j=1}^C\frac{n_j}{n}{\hat{\Sigma }}_j$$

   其中， $n_j$ 是 ${\varpi }_j$ 类训练样本的数量， $n$ 是各类训练样本的总数。无偏估计由下式给出：

   $$\frac{n}{n-C}{S}_W$$

   对于特殊的两类问题，判别形式可以简化为 $w^{T}x+w_0$ 的取值。若其值大于0，则将 $x$ 归入 ${\varpi }_1$ 类，反之则将 $x$ 归入 ${\varpi }_2$ 类。上式中，

   $$w=S_W^{-1}({\hat{\mu }}_1-{\hat{\mu }}_2)$$
   $$w_0=-log(\frac{p({\varpi }_2)}{p({\varpi }_1)})-\frac{1}{2}({\hat{\mu }}_1+{\hat{\mu }}_2{)}^{T}w$$

   对于 $S_W$ 为单位矩阵且各类的先验概率 $p({\varpi }_i)$ 相等的特殊情况，判别规则可改写为：对所有的 $j\ne i$ ，若

   $$-2x^T{\hat{\mu }}_i+{\hat{\mu }}_i^T{\hat{\mu }}_i<-2x^T{\hat{\mu }}_j+{\hat{\mu }}_j^T{\hat{\mu }}_j$$

   则将 $x$ 归入 ${\varpi }_i$ 类。这就是最近类均值分类器（nearest class mean classifier）。之所以把英文打出来是因为想要让注意的是到目前为止遇见的类所代表的含义指的是类别（class）而不是类似。

4. 正则化判别分析

   正则化判别分析（RDA），针对小样本、高维数据集，该方法可以克服二次判别函数性能的退化，它包含了复杂性参数 $\lambda$ 和收缩参数 $\gamma$ ，$\lambda$ 使规则介于线性和非线性判别规则之间，$\gamma$ 可以修正协方差矩阵。其判别规则为：若对所有的 $j\ne i$ 有 $g_i>g_j$ ，则将 $x$ 归于 ${\varpi }_i$ 类，其中：

   $$g_j(x)=log(p({\varpi }_j))-\frac{1}{2}log(|{\Sigma }_j^{\lambda ,\gamma }|)-\frac{1}{2}(x-{\hat{\mu }}_j{)}^T({\Sigma }_j^{\lambda ,\gamma }{)}^{-1}(x-{\hat{\mu }}_j)$$
   其中，
   $${\Sigma }_j^{\lambda }=\frac{(1-\lambda )n_j{\hat{\Sigma }}_j+\lambda n{S}_W}{(1-\lambda )n_j+\lambda n}$$
   $${\Sigma }_j^{\lambda ,\gamma }=(1-\gamma ){\Sigma }_j+\gamma c_j(\lambda )I_d$$
   其中，$I_d$ 为单位阵，$c_j(\lambda )$ 反映 ${\Sigma }_j^{\lambda }$ 的平均特征值：
   c j ( λ ) = T r { Σ j λ } / d c_j(\lambda)=Tr\lbrace \Sigma_j^\lambda \rbrace/d cj​(λ)=Tr{ Σjλ​}/d

   如果进一步解读 ${\Sigma }_j^{\lambda }$ 可以发现，当 $\lambda$ 的值为0或1的时候，协方差矩阵估计分别对应二次判别规则和线性判别规则。

三、有限混合模型

混合模型相较于高斯分类器而言，功能更加强大，可以模拟多种非高斯分布，是一种用简单密度模拟复杂密度的数学方法。

本篇博客就写到这里了。有限混合模型更加复杂，需要耐心与绘图工具来辅助理解。下篇博客将介绍另外一种类条件概率密度参数估计的方法——密度估计的贝叶斯法。