机器学习-白板推导-系列（十一）笔记：高斯混合模型

---

0 笔记说明

来源于【机器学习】【白板推导系列】【合集 1～23】，我在学习时会跟着up主一起在纸上推导，博客内容为对笔记的二次书面整理，根据自身学习需要，我可能会增加必要内容。

注意：本笔记主要是为了方便自己日后复习学习，而且确实是本人亲手一个字一个公式手打，如果遇到复杂公式，由于未学习LaTeX，我会上传手写图片代替（手机相机可能会拍的不太清楚，但是我会尽可能使内容完整可见），因此我将博客标记为【原创】，若您觉得不妥可以私信我，我会根据您的回复判断是否将博客设置为仅自己可见或其他，谢谢！

本博客为（系列十一）的笔记，对应的视频是：【(系列十一) 高斯混合模型1-模型介绍】、【(系列十一) 高斯混合模型2-极大似然】、【(系列十一) 高斯混合模型3-EM求解-E-Step】、【(系列十一) 高斯混合模型4-EM求解-M-Step】。

下面开始即为正文。

---

1 模型介绍

高斯混合模型(Gaussian Mixture Model，GMM)指的是多个高斯分布函数的线性组合，是一种生成模型。

从几何角度来看：高斯混合模型是多个高斯分布函数的叠加。设共有K个高斯分布，对于第k个高斯分布来说，其形式为N(μ_k,Σ_k)，其中k=1,2,…,K，则高斯混合模型的的PDF（probability density function，概率密度函数）即P(X)如下图，其中图中的α_k是第k个高斯分布的权重：

从混合模型的角度来看：假设有N个样本实例，为X=(x₁,x₂,…,x_N)。引入隐变量Z=(z₁,z₂,…,z_N)，对于每个样本x_i，都对应于一个z_i，用于代表x_i是属于K个高斯分布中的哪一个，其中i=1,2,…,N。假设C_k是第k个高斯分布，其中k=1,2,…,K，当z_i=C_k时，概率P(z_i=C_k)=p_k，其中i=1,2,…,N，若p_m最大则代表x_i属于第m个高斯分布C_m。如下图为z_i的分布，可知z_i为离散型随机变量，其中i=1,2,…,N。对于z_i，其概率分布的参数为p=(p₁,p₂,…,p_K)：

X的概率密度函数P(X)可写为（与本节第一张图不谋而合）：

高斯混合模型的概率图如下：

上图右下角的N代表有N个样本实例。

---

2 极大似然

假设有N个样本实例为X=(x₁,x₂,…,x_N)，X称为观测数据，其中当i≠j时有x_i与x_j相互独立，引入隐变量Z=(z₁,z₂,…,z_N)。(X,Z)称为完整数据，有x|z=C_k～N(μ_k,Σ_k)，即：

高斯混合模型的参数θ={(p₁,p₂,…,p_K),(μ₁,μ₂,…,μ_K),(Σ₁,Σ₂,…,Σ_K)}。如果用极大似然估计求θ会怎么样呢？如下：

从最后一行观察可知，目标函数中对数内是连加形式，因此难以或者无法求解。

下面使用EM算法求解参数θ，关于EM算法，可以看这里。

---

3 EM求解

3.1 E-Step

θ^(t+1)为：

记Q(θ,θ^(t))为上图的目标函数，则可以对Q(θ,θ^(t))进行整理：

将上图最后一行公式的第一项展开：

对框住的部分有：

即上上一张图最后框住的部分等于1，则上上上一张图最后一行公式的第一项展开为：

则Q(θ,θ^(t))为：

又因为：

所以Q(θ,θ^(t))为：

将框住的部分写为p(z_i|x_i,θ^(t))，然后继续对Q(θ,θ^(t))继续化简：

于是θ^(t+1)为：

3.2 M-Step

高斯混合模型的参数θ={(p₁,p₂,…,p_K),(μ₁,μ₂,…,μ_K),(Σ₁,Σ₂,…,Σ_K)}，即有三组参数：

（1）p=(p₁,p₂,…,p_K)；

（2）μ=(μ₁,μ₂,…,μ_K)；

（3）Σ=(Σ₁,Σ₂,…,Σ_K)。

下面只示范性地求p^(t+1)=(p₁^(t+1),p₂^(t+1),…,p_K^(t+1))，对p_k^(t+1)，其中k=1,2,…,K，有：

其中：

这是一个带约束的优化问题，下面使用拉格朗日乘数法解决，先构造拉格朗日函数L(p_k,λ)为：

对L(p_k,λ)关于p_k求偏导，并令偏导数等于0：

上图最后框住的两部分都等于1，于是有：

所以λ=-N，其中N是样本实例的数量。将λ=-N代入下式：

得：

最后有p_k^(t+1)如下，其中k=1,2,…,K：

求解p^(t+1)结束，其中p^(t+1)=(p₁^(t+1),p₂^(t+1),…,p_K^(t+1))。

---

END