文本聚类

文本聚类就是要在一堆文档中,找出哪些文档具有较高的相似性,然后可以针对这些相似文档的聚合进行类别划分。本文聚类应用场景:提供大规模文档集进行类别划分并提取公共内容的概括和总览;找到潜在的各个文档间的相似度进行相似度判别、类别修正,以减少浏览相似文档和信息的时间和精力。

通常,聚类分析是针对数值型做计算的,K均值这类基于聚类的算法要求只有数值型变量才能得到距离相似度。对于文本聚类而言,由于不同文本集出现的全部都是文字内容,因此无法直接针对这些文本进行聚类。

实现文本聚类,除了要进行必要的文本数据清洗和预处理外,还有两个前置条件:

  • 分词。分词是实现聚类条件的第一个必要步骤,分词之后会得到不同文本集已经分割好的单词。
  • word to vector。也称为文本转向量、词转向量,目的是将不同文本集的单词集合,转换为向量集合,然后通过向量空间模型建立向量矩阵。

完成上述两个基本步骤后,可以基于想来基于向量矩阵做文本聚类分析、情感分析、词频统计、相似词频等。

猜你喜欢

转载自www.cnblogs.com/keye/p/8917197.html