K-means算法(无监督学习)

1 什么是无监督学习

现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习。

  • 一家广告平台需要根据相似的人口学特征和购买习惯将美国人口分成不同的小组,以便广告客户可以通过有关联的广告接触到他们的目标客户。
  • 某个人需要将自己的房屋清单分组成不同的社区,以便用户能更轻松地查阅这些清单。

我们可以怎样最有用地对其进行归纳和分组?我们可以怎样以一种压缩格式有效地表征数据?这都是无监督学习的目标,之所以称之为无监督,是因为这是从无标签的数据开始学习的。 

2 K-means原理

我们先来看一下一个K-means的聚类效果图

  1. 随机设置K个特征空间内的点作为初始的聚类中心
  2. 对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别
  3. 接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值)
  4. 如果计算得出的新中心点与原中心点一样,那么结束,否则重新进行第二步过程

如果分开来看上图的话,效果如下:

3 K-means API 

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)

  • n_clusters:开始的聚类中心数量
  • init:初始化方法,默认为'k-means ++’
  • labels_:默认标记的类型,可以和真实值比较(不是值比较)

4 实例代码

5 K-means性能评估指标

5.1 轮廓系数

轮廓系数计算公式如下:

对于每个点i 为已聚类数据中的样本 ,b_i 为i 到其它族群的所有样本的距离最小值,a_i 为i 到本身簇的距离平均值。最终计算出所有的样本点的轮廓系数平均值。

5.2 轮廓系数数值分析

分析过程(我们以一个蓝1点为例)

  • 计算出蓝1离本身族群所有点的距离的平均值a_i
  • 蓝1到其它两个族群的距离计算出平均值红平均,绿平均,取最小的那个距离作为b_i
  • 根据公式:极端值考虑:如果b_i >>a_i: 那么公式结果趋近于1;如果a_i>>>b_i: 那么公式结果趋近于-1

5.3 结论

如果b_i>>a_i:趋近于1效果越好, b_i<<a_i:趋近于-1,效果不好。轮廓系数的值是介于 [-1,1] ,越趋近于1代表内聚度和分离度都相对较优。

5.4 轮廓系数API

sklearn.metrics.silhouette_score(X, labels)

  • X:特征值
  • labels:被聚类标记的目标值

6 总结

  • 特点分析:采用迭代式算法,直观易懂并且非常实用
  • 缺点:容易收敛到局部最优解(多次聚类)
  • 注意:聚类一般做在分类之前

猜你喜欢

转载自blog.csdn.net/gf19960103/article/details/109360903
今日推荐