EM算法的应用—— 高斯混合聚类模型 GMM模型
参考书籍：
- 周志华.机器学习 P206
- 李航.统计学习方法 P162
- 范明译.数据挖掘导论P368
李航.统计学习方法中高斯混合模型仅介绍一元高斯分布的情况，周志华.机器学习则采用多元高斯分布的写法，但求解过程不够突出EM算法的思想。此外，李航.统计学习方法中的一些写法会产生误解。因此下面过程主要根据李航.统计学习方法中的推导方法，但会有部分修正。
GMM算法主要利用EM算法来估计高斯混合模型中的参数，然后根据计算得到的
概率进行聚类。
EM算法原理看这里
1、定义
2、目标函数
理论的目标函数：
求解的目标函数：
3、步骤
（1）首先计算高斯混合模型的参数
输入：观测数据D={y1,y2,y3,…,yn} ,高斯混合模型的个数
输出：高斯混合模型参数
一维高斯混合模型公式根据《统计学习方法》，多维高斯混合模型公式根据《机器学习》
4、注意
如果细心的同学可以看见，迭代更新参数中，一维和多维中方差或协差阵计算所带入的均值有所差异（或者说是两本书的差异）。一维高斯分布参数计算中，方差更新计算带入的是上一步的均值，而多维高斯分布中协差阵带入的是更新后的均值。两者的差异不大，计算方差或协差阵时带入上一步计算的均值或更新后的均值都可以，只要保证收敛即可。一般情况下都是收敛的。