【模式识别与机器学习】——正态分布模式的贝叶斯分类器

出发点：

当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。 由于正态密度函数易于分析，且对许多重要的实际应用又是一种合适的模型，因此受到很大的重视。

（贝叶斯分类规则是基于统计概念的。 如果只有少数模式样本，一般较难获得最优的结果）

两类问题且其类模式都是正态分布的特殊情况

当C1≠C2时的情况 显然，判别界面d1(x)- d2(x)=0是x的二次型方程，即ω1和ω2两类模式可用二次判别界面分开。 当x是二维模式时，判别界面为二次曲线，如椭圆，圆，抛物线或双曲线等。 当C1=C2 =C时的情况 判别界面为x的线性函数，为一超平面。 当x是二维时，判别界面为一直线。

两类问题且其类模式都是正态分布的实例

模式分布如图所示，若作为正态分布处理，且P(ω₁)=P(ω₂)=1/2，求其判别界面。

模式的均值向量m_i和协方差矩阵C_i可用下式估计：

其中N其中N_i为类别为类别ω_i中模式的数目，x中模式的数目，x_ij代表在第i个类别中的第j个模式。由上式可求出：

设P(ω₁)=P(ω₂)=1/2，因C₁=C₂，则判别界面为：

M种模式类别的多变量正态类密度函数

判别函数是一个超二次曲面。 对于正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。