【ML小结11】高斯混合模型GMM

1. 模型表示

高斯混合模型是指具有如下形式的概率分布模型： $P(y|\theta)=\sum_{k=1}^K\alpha_k\phi(y|\theta_k)$其中， $\alpha_k$是权重系数，满足 $\alpha_k>0，\sum_{k=1}^K\alpha_k=1$；
$\phi(y|\theta_k)$是高斯单模型（Gaussian single model, GSM）的概率密度函数： $\phi(y|\theta_k)=\frac{1}{\sqrt {2\pi}\sigma_k}exp(-\frac{(y-\mu_k)^2}{2\sigma_k^2})$

2. 模型解释

高斯混合模型（Gaussian mixture model, GMM）并不是什么新奇的东西，它的本质就是融合几个单高斯模型，来使得模型更加复杂，从而产生更复杂的样本。理论上，如果某个高斯混合模型融合的高斯模型个数足够多，它们之间的权重设定得足够合理，这个高斯混合模型可以拟合任意分布的样本。

以简单的一维混合高斯模型为例：

3. 模型求解：EM算法

3.1 期望最大化（EM）算法

• EM算法只需要足够的训练数据，定义一个最大化函数Q，剩下的交给计算机迭代训练就可以了。
• E过程：期望值计算过程
• M过程：重新计算模型参数，以最大化期望值
• EM算法保证算法收敛到局部最优点。如果目标函数是凸函数，则能收敛到全局最优点。

3.2 模型求解

假设我们采样得到一组样本 $y_t$ ,而且我们知道变量Y服从高斯分布（其他变量分布类似），我们的目的就是找到一个合适的高斯分布，使得这个高斯分布能产生这组样本的可能性尽可能大。

3.2.1 明确隐变量，写出完全数据的对数似然函数

隐变量描述的就是：每一次采样，选择第k个高斯模型的概率

为什么不用极大似然估计的方法来解GMM模型：无法求导

仔细观察上图（9.28）式可以发现，对数似然函数里面，括号里面还有求和。实际上没有办法通过求导的方法来求这个对数似然函数的最大值。

极大似然估计

1、求最大似然估计量的一般步骤：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数；
（4）解似然方程。
2、最大似然估计的特点：
（1）比其他估计方法更加简单；
（2）收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；
（3）如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。
3、极大似然估计的例子

3.2.2 EM算法的E步：确定Q函数（对数似然函数的期望）

3.2.3 EM算法的M步：求偏导

参考教程

• 详解EM算法与混合高斯模型(Gaussian mixture model, GMM) - 林立民爱洗澡 - CSDN博客
  https://blog.csdn.net/lin_limin/article/details/81048411
• 李航《统计学习方法》