机器学习方法篇(22)------模型聚类法

● 每周一言

思考如脚印,踩的越深走的越稳。

导语

前面已经讲完三种聚类方法,剩下的模型聚类法,主要分为基于概率模型聚类和基于神经网络模型聚类两种。

其中基于概率模型的聚类方法较为流行。而在概率模型聚类法中,最典型、也最常用的就是高斯混合模型GMM了。那么,GMM是什么,又是如何聚类的?

GMM聚类

高斯混合模型(GMM,Gaussian Mixture Models),顾名思义由高斯模型组成,而高斯模型就是我们常说的正态分布,因此GMM可以理解为几个正态分布的叠加。

fig1

基于GMM的聚类,和K-means聚类有点相似,具体算法流程如下:

1> 随机生成k个高斯分布作为初始的k个类别;
2> 对每一个样本数据点,计算其在各个高斯分布下的概率;
3> 对每一个高斯分布,样本数据点得到的不同概率值作为权重,加权计算并更新其均值和方差;
4> 重复以上步骤2和3,直到每一个高斯分布的均值和方差不再发生变化或已满足迭代次数。

以下展示了一维数据集的GMM聚类执行图例(图片源自互联网)。

fig2

如果样本数据集是多维情况,需要计算协方差把不同维度之间的关联性考虑进来。

GMM聚类和K-means一样,分类受到初始值影响较大。不过GMM聚类完的样本可以同时属于多个类别,这种聚类又称为 软聚类

其他的模型聚类法还有 基于PageRank的软聚类法,和 基于神经网络模型的SOM聚类法 等,有兴趣的读者可自行查阅文献资料。

以上便是常见的模型聚类法GMM聚类的讲解,敬请期待下节内容。

结语

感谢各位的耐心阅读,后续文章于每周日奉上,敬请期待。欢迎大家关注小斗公众号 对半独白

face

猜你喜欢

转载自blog.csdn.net/cherrylvlei/article/details/79363704