EM算法和高斯混合模型GMM

参考链接:
https://www.zhihu.com/question/27976634
https://www.jianshu.com/p/1121509ac1dc
https://blog.csdn.net/qq_39638957/article/details/88744877
https://www.cnblogs.com/shanlizi/p/9101752.html
更新中……
em算法
动机:由于含有隐变量,不能直接用极大似然估计来估计观测数据的分布的参数。
想法:先初始化观测变量的概率,用这个概率估计隐变量的概率,再用隐变量的概率更新观测变量的概率。可证明收敛性。

高斯混合模型
多用于聚类,假设数据分布为多个高斯分布的混合。参数为数据点属于第k个高斯模型对概率,高斯分布中的均值和协方差。
求解步骤为
(1)给参数初值
(2)计算每个点属于属于第k个高斯分布的概率
(3)根据(2)更新每个高斯分布的均值和协方差
(4)重复直到参数不变

GMM和K-Means的联系和区别
当协方差极小时就是kmeans,由于em算法对初值敏感,可以先用kmeans训练大概,再用gmm优化。
计算步骤相同,都需要初值,迭代得到分类。
kmeans聚类的形状是球对称的,而GMM是高斯分布形状的,因此gmm更加细致
kmeans hardcluster
GMM softcluster

发布了73 篇原创文章 · 获赞 10 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/Jiiaaaoooo/article/details/99944017