本章内容：
- K-均值聚类算法
- 对聚类得到的簇进行后处理
- 二分K-均值聚类算法
- 对地理位置进行聚类
聚类是一种无监督的学习，将相似的对象归入同一个簇内。K-均值（K-means）聚类算法之所以称为K-均值是因为它可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。
聚类与分类的最大不同在于，分类的目标实现已知，而聚类则不一样。因为其产生的结果和分类相同，而只是类别没有预先定义，聚类有时候也被称为无监督分类（unsupervised classification）。
为了解决简单的K-均值算法的缺陷，可通过后处理来产生更好的簇。一个更有效的改进是二分K-均值（bisecting k-means）的聚类算法。
一、K-均值聚类算法
K-均值是发现给定数据集的k个簇的算法。簇个数k时用户给定的，每个簇通过其质心（centroid），即簇中所有点的中心来描述。
K-均值算法的工作流程，首先，随机确定k个初始点作为质心。然后将数据集中的每个点分配到一个簇中，具体来讲，为每个点找距其最近的质心，并将其分配给该质心所对应的簇。这一步完成之后，每个簇的质心更新为该簇所有点的平均值。K-均值算法的伪代码如下：
创建k个点作为起始质心（经常是随机选择）
当任意一个点的簇分配结果发生改变时
对数据集中的每个数据点
对每个质心
计算质心与数据点之间的距离
将数据点分配到距其最近的簇
对每个簇，计算簇中所有点的均值并将均值作为质心“最近”质心意味着需要进行某种距离计算，可以选择任意距离度量方法。
# coding=utf-8
from numpy import *
def loadDataSet(fileName) :
dataMat = []
fr = open(fileName)
for line in fr.readlines() :
curLine = line.strip().split('\t')
fltLine = map(float, curLine)
dataMat.append(fltLine)
return dataMat
# 计算两个向量的欧式距离
def distEclud(vecA, vecB) :
return sqrt(sum(power(vecA - vecB, 2)))
# 为给定的数据集构建一个包含k个随机质心的集合
def randCent(dataSet, k) :
n = shape(dataSet)[1]
centroids = mat(zeros((k,n)))
# 构建簇质心
for j in range(n) :
# 每一维的最小值
minJ = min(dataSet[:, j])
# 每一维的最大值最小值之差
rangeJ = float(max(dataSet[:,j]) - minJ)
# random.rand(i,j)，生成一个i行j列的数组，其中每个元素都0-1之间的随机数
centroids[:,j] = minJ + rangeJ * random.rand(k,1)
return centroids>>> import ml.kMeans as kMeans
>>> from numpy import *
>>> dataMat = mat(kMeans.loadDataSet('c:\python27\ml\\testSet.txt'))
>>> min(dataMat[:,0])
matrix([[-5.379713]])
>>> min(dataMat[:,1])
matrix([[-4.232586]])
>>> max(dataMat[:,1])
matrix([[ 5.1904]])
>>> max(dataMat[:,0])
matrix([[ 4.838138]])
>>> kMeans.randCent(dataMat, 2)
matrix([[-4.010564 , 1.44454463],
[-3.87410439, -3.68346622]])
>>> kMeans.distEclud(dataMat[0], dataMat[1])
5.184632816681332# dataSet: 数据集
# k: 簇的数目
# distEclud: 用来计算距离的函数
# createCent: 创建初始质心的函数
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent) :
m = shape(dataSet)[0]
# 簇分配结果矩阵clusterAssment包含两列：一列记录簇索引值，
# 第二列存储误差，这里的误差是指当前点到簇质心的距离
clusterAssment = mat(zeros((m,2)))
centroids = createCent(dataSet, k)
clusterChanged = True
while clusterChanged :
clusterChanged = False
# 遍历所有数据找到距离每个点最近的质心
for i in range(m) :
minDist = inf; minIndex = -1
for j in range(k) :
distJI = distMeas(centroids[j,:], dataSet[i,:])
if distJI < minDist :
minDist = distJI; minIndex = j
if clusterAssment[i,0] != minIndex : clusterChanged = True
clusterAssment[i,:] = minIndex,minDist**2
print centroids
# 遍历所有质心并更新它们的值
for cent in range(k) :
# 通过数组过滤来获得给定簇的所有点
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
# 计算给定簇的所有点的均值，axis=0表示沿矩阵的列方向进行均值计算
centroids[cent, :] = mean(ptsInClust, axis=0)
# 返回质心与点分配结果
return centroids, clusterAssment>>> import ml.kMeans as kMeans
>>> dataMat = mat(kMeans.loadDataSet('c:\python27\ml\\testSet.txt'))
>>> myCentroids, clustAssing = kMeans.kMeans(dataMat, 4)
[[ 3.77673943 1.19991105]
[ 4.10019672 1.74260606]
[-3.92205359 -2.07901358]
[-2.88293372 4.32778305]]
[[ 2.94918387 -1.65744248]
[ 2.624524 3.53268467]
[-2.99723017 -2.84727778]
[-2.45009747 2.89275747]]
[[ 2.80293085 -2.7315146 ]
[ 2.6265299 3.10868015]
[-3.38237045 -2.9473363 ]
[-2.46154315 2.78737555]]
>>> myCentroids
matrix([[ 2.80293085, -2.7315146 ],
[ 2.6265299 , 3.10868015],
[-3.38237045, -2.9473363 ],
[-2.46154315, 2.78737555]])上面结果给出了四个质心，经过3次迭代之后K-均值算法收敛。
二、使用后处理来提高聚类性能
在包含簇分配结果的矩阵中保存着每个点的误差，即该点到簇质心的距离平方值，可以利用该误差来评价聚类质量的方法。K均值算法有时虽收敛但聚类效果却较差。原因是，K均值算法收敛到了局部最小值，而非全局最小值。
一种度量聚类效果的指标是SSE（Sum of Square Error，误差平方和），对应上面程序中clusterAssment矩阵的第一列之和。SSE值越小表示数据点越接近它们的质心，聚类效果越好。因为对误差取了平方，因此，更加重视那些远离中心的点。增加簇的个数肯定可以降低SSE值，但这违背了聚类的目标。聚类的目标是在保持簇的数目不变的情况下提高簇的质量。
对生成的簇进行后处理，将具有最大SSE值得簇过滤出来，在这些点上运行k-均值算法（其中k=2）划分成两个簇。为保持簇总数不变，可将某两个簇进行合并。两种可量化的合并方法：
- 合并最近的质心，通过计算所有质心的之间的距离，然后合并距离最近的两个点实现；
- 合并两个使SSE增幅最小的质心，需要合并两个簇后计算总SSE值。必须在所有可能的两个簇上重复上述过程，直到找到合并最佳的两个簇为止。
三、二分K-均值算法
二分K-均值算法（bisecting K-means），它为了克服k-均值算法收敛于局部最小值的问题。该算法首先将所有点作为一个簇，然后将该簇一分为二。之后选择一个簇继续划分，选择哪个簇进行划分取决于对其划分是否可以最大程度降低SSE的值。上述基于SSE的划分过程不断重复，直到得到指定的簇数目为止。
二分K-均值算法的伪代码形式如下：
将所有点看成一个簇
当簇数目小于k时
对于每个簇
计算总误差
在给定的簇上面进行K-均值聚类（k=2）
计算将该簇一份为二的总误差
选择是误差最小的那个簇进行划分操作另一种做法是选择SSE最大的簇进行划分，直到簇数目达到用户指定的数目为止。
# dataSet: 数据集
# k: 簇的数目
# distEclud: 用来计算距离的函数
def biKmeans(dataSet, k, distMeas=distEclud) :
m = shape(dataSet)[0]
# clusterAssment用来存储数据集中每个点的簇分配结果及平方误差
clusterAssment = mat(zeros((m,2)))
# 创建一个初始簇，计算整个数据集的质心
centroid0 = mean(dataSet, axis=0).tolist()[0]
# 使用一个列表保存所有的质心
centList = [centroid0]
# 遍历数据集中所有点来计算每个点到质心的误差值
for j in range(m) :
clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j, :])**2
# while循环会不停对簇进行划分，直到得到想要的簇数目为止
while len(centList) < k :
# 将初始的lowestSSE值设置为无穷大
lowestSSE = inf;
# 遍历所有簇来决定最佳的簇进行划分
for i in range(len(centList)) :
# 将当前簇的所有点看成一个小的数据集ptsInCurrCluster
ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0], :]
# 对当前簇进行KMean处理，k=2
centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)
sseSplit = sum(splitClustAss[:,1])
sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0], 1])
print "sseSplit, and notSplit: ", sseSplit, sseNotSplit
# 比较划分前后的SSE
if (sseSplit + sseNotSplit) < lowestSSE :
bestCentToSplit = i
bestNewCents = centroidMat
bestClustAss = splitClustAss.copy()
lowestSSE = sseSplit + sseNotSplit
# kMeans()函数指定k=2时，会得到两个编号分别为0,1的结果簇，
# 需要将这些簇编号修改为划分簇及新加簇的编号
bestClustAss[nonzero(bestClustAss[:,0].A==1)[0], 0] = len(centList)
bestClustAss[nonzero(bestClustAss[:,0].A==0)[0], 0] = bestCentToSplit
print 'the bestCentToSplit is: ', bestCentToSplit
print 'the len of bestClustAss is: ', len(bestClustAss)
# 新的质心添加到centList中，先转换成列表，然后再取第一个元素
centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]
centList.append(bestNewCents[1,:].tolist()[0])
clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:] = bestClustAss
return mat(centList), clusterAssment>>> reload(kMeans)
<module 'ml.kMeans' from 'C:\Python27\ml\kMeans.py'>
>>> dataMat3 = mat(kMeans.loadDataSet('c:\python27\ml\\testSet2.txt'))
>>> centList, myNewAssments = kMeans.biKmeans(dataMat3,3)
[[ 0.30876005 2.69551194]
[ 3.15146076 4.26808894]]
[[-1.31987458 0.5312746 ]
[ 3.32873273 3.30749667]]
[[-1.70351595 0.27408125]
[ 2.93386365 3.12782785]]
sseSplit, and notSplit: 541.297629265 0.0
the bestCentToSplit is: 0
the len of bestClustAss is: 60
[[-3.397688 -1.38934192]
[-2.13434694 -2.73231088]]
[[-2.94737575 3.3263781 ]
[-0.45965615 -2.7782156 ]]
sseSplit, and notSplit: 67.2202000798 39.5292986821
[[ 2.22903748 0.88494592]
[ 2.40562305 2.18745569]]
[[ 2.441611 0.444826 ]
[ 2.95977168 3.26903847]]
sseSplit, and notSplit: 31.6968654205 501.768330583
the bestCentToSplit is: 0
the len of bestClustAss is: 40
>>> centList
matrix([[-0.45965615, -2.7782156 ],
[ 2.93386365, 3.12782785],
[-2.94737575, 3.3263781 ]])四、示例：对地图上的点进行聚类
决定将给定地方进行聚类，这样就可以安排交通工具抵达簇的质心，然后步行到每个簇内地址。文件给出地址，但没有给出这些距离的远近信息。因此，需要得到每个地址的经纬度，然后对这些地址进行聚类以安排行程。
示例：对于地理数据应用二分K-均值算法
- 收集数据：使用Yahoo! PlaceFinder API收集数据。
- 准备数据：只保留经纬度信息。
- 分析数据：使用Matplotlib来构建一个二维数据图，其中包含簇与地图。
- 训练算法：训练不适用无监督学习。
- 测试算法：使用biKmeans()函数。
- 使用算法：最后的输出是包含簇及簇质心的地图。
4-1 Yahoo! PlaceFinder API
Yahoo的免费API对给定的地址返回该地址对应的经纬度。详见：http://developer.yahoo.com/geo/placefinder/guide/。使用该服务，需要注册以获得一个APIKey。