Kmeans GMM 高斯混合模型 EM算法

Kmeans 模型是 GMM 模型的一种,高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况。

GMM 参数的学习可以用EM算法,EM算法是用于含有隐变量的概率模型参数的极大似然估计,EM算法通过迭代来的方式进行极大似然估计,每一次迭代由可以分为:E步,求期望;M步,求极大化。

在 Kmeans 算法中,初始化聚类中心后,迭代地进行对每个样本点计算当前离其最近的聚类中心所属类别(近似相当于 EM 算法的 E步),然后计算每个类别中所以样本点的几何中心得到新的聚类中心 (近似相当于 EM 算法的 M步)。 可以理解为把 「EM中的计算期望」 简化成 「K means 中的计算距离」 和 「EM中的求极大化」 简化成 「K means 中的计算距离各样本点最近的新聚类中心」。

参考:
https://www.zhihu.com/question/49972233 K means 的E步和M步
https://blog.csdn.net/jinping_shi/article/details/59613054 GMM 和 EM算法

猜你喜欢

转载自blog.csdn.net/MachineRandy/article/details/80371051