nlp处理技术-文章分类java实现方案

项目背景:为了解决采集的文章,智能进行文章分类

因为本人是java代码,看java jar比较爽。

于是选择了fasttext4j ( facebook开发源代码,底层是c++,做的jar)

业务实现流程

1:采集一个目标文章网站, 文章内容+栏目id

2:整理数据样本。把mysql数据转移到File。作为fasttext4j的数据样本。

样本数据如图,本人花了3小时下载的模板。 中文分词参数,一行一篇文章。 然后一行最后面是__label__xx   文章分类编号

3:用fasttext进行训练

扫描二维码关注公众号,回复: 13651062 查看本文章

注:请使用ModelName.sup 的训练模式, 而不是用词向量,后面这种方式生成模型。

4:第一次生成模型很麻烦,900片文章,预计在2分钟左右。以后直接调用模型即可。

5:predict预测

现在遇到的问题

数据样本不均匀的时候,然后==》一篇文章参数进来,智能匹配到5的概率很大

当前的解决方案,为了不同类目的样本一致,随机取13篇文章,再跑模型训练,你会怎么去处理呢?

本人微信:liuxia8_com   一起学习NLP处理技术。

猜你喜欢

转载自blog.csdn.net/q1457797371/article/details/88317316