在文本聚类之前，首先要做的是文本的向量化。该过程涉及到分词，特征抽取，权重计算等等。Mahout 提供了文本向量化工具。由于Mahout 向量化算法要处理的文件是Hadoop SequenceFile ，需要将普通的文本文件转成SequenceFile格式，然后在向量化。
一、序列化
API
| SequenceFilesFromDirectory.main(args); |
|
| --input (-i) |
文件存放路径 |
| -output (-o) |
输出文件路径 |
| --overwrite (-ow) |
是否清空输出目录 |
| --charset (-c) |
默认UTF-8 |
示例
| String [] arg ={"-i","forclusters","-o","se","-ow"}; SequenceFilesFromDirectory.main(arg); |
二、向量化
API
| SparseVectorsFromSequenceFiles.main(args); |
|
| --minSupport (-s) |
词的最小支持度 |
| --analyzerName (-a) |
Lucene分词器类权限命名 |
| --chunkSize (-chunk) |
块大小 |
| --output (-o) |
输出目录 |
| --input (-i) |
输入目录 |
| --minDF (-md) |
文档的最小DF值 |
| --maxDFPercent (-x) |
最大DF频率 |
| --weight (-wt) |
权重，TFIDF,或TF |
| --minLLR (-ml) (Optional) |
最小log-Likelihood |
| --numReducers (-nr) |
reduce个数 |
| --maxNGramSize (-ng) |
最大n-gram数 |
| --overwrite (-ow) |
是否覆盖outPut下的文件 |
| --sequentialAccessVector(-seq) (Optional) |
是否输出为sequentialAccessVector |
| --namedVector(-nv) (Optional) |
是否输出为namedVector |
| --logNormalize(-lnorm) (Optional) |
输出结果向量取log |
| --stopWordsFile (-sw) |
停用词词典文件路径 |
示例
| String [] args ={"-i",”/seq”, "-o",”/vec” "-a","org.apache.lucene.analysis.cn.smart .SmartChineseAnalyzer", "-md",4), "-ow","-ng",4), "-wt",”TFIDF”, "-nr",4), "-sw",”/stopwprds.txt” }; SparseVectorsFromSequenceFiles.main(args); |
输出结果
| 名称 |
Key类型 |
Value类型 |
说明 |
| tokenized-documents |
文档名(org.apache.hadoop.io.Text) |
词数组(org.apache.mahout. common.StringTuple) |
分词后的的文本，每条记录代表一篇文档 |
| dictionary.file-0 |
单词(org.apache.hadoop.io.Text) |
单词id (org.apache.hadoop. io.IntWritable) |
文本集的特征词词典 |
| wordcount |
单词(org.apache.hadoop.io.Text) |
词频 (org.apache.hadoop. io.LongWritable) |
特征词词频统计 |
| tf-vectors |
文档名(org.apache.hadoop.io.Text) |
文档的tf向量(org.apache.mahout. math.VectorWritable) |
每篇文档的Tf向量 |
| df-count |
单词id (org.apache.hadoop.io.IntWritable) |
单词的文档频率(org.apache. hadoop.io.LongWritable) |
每个单词的文档频率，即包含这个单词的文档个数 |
| frequency.file-0 |
单词id (org.apache.hadoop.io.IntWritable) |
单词的文档频率(org.apache. hadoop.io.LongWritable) |
仍是文档频率，只是对df-count中的文件进行分块 |
| tfidf-vectors |
文档名(org.apache.hadoop.io.Text) |
文档的tfidf向量(org.apache.mahout.math.VectorWritable) |
每篇文档的Tfidf向量 |