前言：
kmeans聚类是一种非常常用的聚类方法，因其简单理解，运算高效的特点被广泛使用，今天我们通过强大的sklearn包进行kmeans的实现，通过自然语言处理的文本聚类来进行功能实现。这里只展示清晰的代码实现过程，理论知识与流程不在赘述。
使用的数据集地址:
https://download.csdn.net/download/u013521274/11080094
对于初学python的人来说，找到可以看懂的代码，没有数据无法运行的确是头疼的事情所以本人在此把数据集给出，以便于更多的小伙伴们记性学习，共同进步。
代码实现：
# -*- coding: utf-8 -*-
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.feature_extraction.text import TfidfTransformer,CountVectorizer,HashingVectorizer
#-----------------------------------------第一步计算TFIDF---------------------------------------
corpus = []
for line in open('data/Result.txt', 'r',encoding='utf-8',errors='ignore').readlines():
corpus.append(line.strip())
print('库有几行：',len(corpus)) #一行代表一个文档(也可以代表一类据情况而定)
vectorizer = CountVectorizer()#将文本中的词语转换为词频矩阵 矩阵元素a[i][j] 表示j词在i类文本下的词频
transformer = TfidfTransformer()#该类会统计每个词语的tf-idf权值
#第一个fit_transform是计算tf-idf 第二个fit_transform是将文本转为词频矩阵
tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))#获得tfidf值
word = vectorizer.get_feature_names()#获取词袋模型中的所有词语->词表
weight = tfidf.toarray()#将tf-idf矩阵抽取出来，元素w[i][j]表示j词在i类文本中的tf-idf权重
num = np.array(weight) #这个权重其实即使大的稀疏矩阵
print("矩阵的列是",num.shape[1])#列数=词表的个数
print( '词表大小:'+str(len(word)))#可以作为比对
#-----------------------------------------第二步 聚类kmeans------------------------------------
from sklearn.cluster import KMeans
clf = KMeans(n_clusters=4) #参数4代表聚成4类，还有其他参数可以设置
s=clf.fit(weight) #调用fit()方法进行聚类 输入：weight=Tfidf的稀疏矩阵
print(s) #可以查看kmeans()其他参数
#中心点
print(len(clf.cluster_centers_))#对于矩阵来说len是行
# print(clf.cluster_centers_)#4类 每一类的中心点
#用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数 958.137281791
# print(clf.inertia_)# 958.1511490717049
#---------------------------------------第三步文档所属簇的索引(标号)提取----------------------
#每一个样本所属于的簇-------最终要的东西---我们聚类的目的就是要知道每一个文档所属于的簇----
# print(clf.labels_)
#我们就是把clf.labels_中的信息提取出来以便于画图
listlabel=[]
i=0
while i<len(clf.labels_):
listlabel.append([i,clf.labels_[i]])
i=i+1
frame = pd.DataFrame(listlabel,columns=['index','class'])#使用pandas处理方便
'''属于0簇的文档索引index保存在list0中'''
list0=[] #簇是从0开始计数的第0类,第1类...
data0=frame[(frame[u'class']==0)].ix[:,0]
for m in data0:
list0.append(m)
list1=[]
data1=frame[(frame[u'class']==1)].ix[:,0]
for m in data1:
list1.append(m)
list2=[]
data2=frame[(frame[u'class']==2)].ix[:,0]
for m in data2:
list2.append(m)
list3=[]
data3=frame[(frame[u'class']==3)].ix[:,0]
for m in data3:
list3.append(m)
#---------------------------------------第四步 图形输出 PCA降维-------------------------------#
from sklearn.decomposition import PCA
pca = PCA(n_components=2)#输出2维
newData = pca.fit_transform(weight)
print('降维后有几行？',len(newData))
# print(newData)
#5A景区
x1=[] #存储x坐标
y1=[] #存储y坐标
for j in list0:
x1.append(newData[j][0])
y1.append(newData[j][1])
#动物
x2 = []
y2 = []
for j in list1:
x2.append(newData[j][0])
y2.append(newData[j][1])
#人物
x3 = []
y3 = []
for j in list2:
x3.append(newData[j][0])
y3.append(newData[j][1])
#国家
x4 = []
y4 = []
for j in list3:
x4.append(newData[j][0])
y4.append(newData[j][1])
#四种颜色 红 绿 蓝 黑
plt.plot(x1, y1, 'or')
plt.plot(x2, y2, 'og')
plt.plot(x3, y3, 'ob')
plt.plot(x4, y4, 'ok')
plt.show()聚类结果：
