机器学习中的聚类--k均值聚类算法--白话文解读

目录

机器学习中有监督学习和无监督学习,什么是无监督学习?

如何去对样本集进行无监督学习?

什么是聚类?

如何去衡量样本之间的相似度?

什么是K-均值?

举个例子:


引言:K均值算法属于无监督学习中一种,我们通过无监督学习的思路来引出K均值算法。

机器学习中有监督学习和无监督学习,什么是无监督学习?

        无监督学习就是在不知道样本的类别标签的情况下,通过对样本集的学习,来分析样本集中的潜在联系和内部结构特征。

如何去对样本集进行无监督学习?

       聚类

什么是聚类?

        ’物以类聚,人以群分‘,相似的放到一起,不相似的不放在一起。聚类就是通过衡量样本之间的相似度,将样本集划分为若干个不相交的子样本集,其子样本集的交集又组成了原始的样本集。其每个子样本集都称作一个簇,而这个簇具体的类别或属性则需我们来定义。

如何去衡量样本之间的相似度?

       通常来讲,可以通过计算样本之间的距离来衡量相似度。我们知道每一个样本x,它是由若干个属性组成,即x={x1,x2,...,xn}。如果我们有两个样本,那么我们就可以通过其两者之间的属性值来计算距离,比较常用的有欧式距离,当然欧氏距离不是唯一的,也有闵可夫斯基距离。由距离的计算方法,引出了K-均值算法。

什么是K-均值?

       K的意思是我们想要把样本集划分成的簇的个数,也就是我们想要把样本集划分成几个子集。均值的意思就是每个簇的质心更新法则是取该簇中所有点的平均值。

  该算法步骤:

(1)首先随机选取k个点作为初始质心

(2)计算样本集中每个样本点到这k个点的距离

(3)将每个样本点划分给离它最近的那个质心,此时所有的样本点都划分给了距离它最近的质心,形成了k个簇(子集)

(4)更新每个簇的质心,其更新为该簇中所有样本点的平均值

(5)依次执行第(2)、(3)步,如果所有样本点所属的簇都没有发生改变,则停止质心的更新;或者是更新迭代指定的次数之后,停止执行;如果某些样本点所属的簇发生了改变,那就继续执行第(4)步,再执行第(5)步,直到所有样本点所属的簇都没有发生改变,则停止质心的更新。

举个例子:

       现在我有五个样本点,每个样本点有两个属性,x1(0, 1), x2(1, 5),x3(2, 4), x4(3, 0),x5(4, 4)。

将这五个点可视化如下图所示。

       首先,我设置k取2,即随机选取2个点作为初始质心z1(2, 1),z2(3, 1)如下图红圈所示。

       然后计算每一个点到这两个质心的距离,将其每个点划分给离它最近的质心,划分结果如下图所示,可自行计算验证。

        然后更新质心,其更新规则为,新的质心为该簇所有样本点的均值。更新之后的两个质心为

z1(1, 10/3),z2(3.5, 2),如下图红圈所示。

       接着计算每一个样本点到这个两个质心的距离,将其分配给离它最近的质心,计算完之后,其每个样本点所属的簇没有发生改变,如下图所示。

        由于每个样本点所属的簇没有发生改变,所以暂停质心的更新,将每个样本点所属的簇进行标记返回结果即可。

总结:以上就是K均值算法的思想,该算法不需要训练,算法就是通过给定的样本,然后找出其中的相似度,将相似的尽可能地划分为一个簇中。运用到实际中,可能一个样本有不止两个属性,并且样本集也不止几个样本,多的有成千上万个样本,那么这是就要考虑到其计算性能,因为我们每一次都需要计算每一个样本点到所有质心的距离。还有一点需要注意的是,k的取值是我们自行设置的,那如何才能取到一个合适的k值,这就需要一个评价指标来衡量执行k均值算法之后划分数据集的质量,一般用来度量聚类质量指标的是SSE(误差平方和),即每一个样本点到它所属质心的距离的平方和,如果增加k取值,能降低SSE,那效果会更好;如果增加k取值,不能降低SSE,则无需增加K的值。当然除了这种衡量之外,还有一种叫做二分K-均值算法,它的聚类效果要好于K-均值算法。所谓二分就是每一个将一个簇一分为二,一直分到能够最大程度降低SSE的值。

猜你喜欢

转载自blog.csdn.net/BaoITcore/article/details/125312201