jieba和snownlp分词的对比及snownlp用法简介和情感分析

首先安装jieba和snownlp直接pip就可以。

import jieba
from snownlp import SnowNLP
#SnowNLP库:
# words:分词
# tags:关键词
# sentiments:情感度
# pinyin:拼音
# keywords(limit):关键词
# summary:关键句子
# sentences:语序
# tf:tf值
# idf:idf值

#分词的对比
s=SnowNLP('这个东西很赞')
#s.words返回一个列表,打印出来即可
print(s.words)
['这个', '东西', '很', '赞']

#jieba.cut返回一个生成器
print(list(jieba.cut('这个东西很赞')))
['这个', '东西', '很赞']

#拼音真的牛
print(s.pinyin)

['zhe', 'ge', 'dong', 'xi', 'hen', 'zan']

#关键词tags
print(list(s.tags))
[('这个', 'r'), ('东西', 'n'), ('很', 'd'), ('赞', 'Vg')]


#关键词的对比

text = '''
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,
所以它与语言学的研究有着密切的联系,但又有重要的区别。
自然语言处理并不是一般地研究自然语言,
而在于研制能有效地实现自然语言通信的计算机系统,
特别是其中的软件系统。因而它是计算机科学的一部分。
'''
s=SnowNLP(text)
#s.tags 返回一个列表
print(list(s.keywords(5)))
['语言', '自然', '计算机', '领域', '研究']

#jieba.analyse返回一个列表
print(jieba.analyse.extract_tags(text,topK=5))
['自然语言', '计算机科学', '语言学', '研究', '领域']

我个人还是认为jieba分词要比snownlp分词好点,但是snownlp可以挑选关键句子和做情感分析。

#情感分析
print(s.sentiments)

1.0

#关键句子
print(s.summary())
['因而它是计算机科学的一部分', '自然语言处理是计算机科学领域与人工智能领域中的一个重要方向', '自然语言处理是一门融语言学、计算机科学、数学于一体的科学', '所以它与语言学的研究有着密切的联系', '这一领域的研究将涉及自然语言']

猜你喜欢

转载自blog.csdn.net/ustbclearwang/article/details/81669041