snownlp文本分词、情感分析、文本相似度与摘要生成

使用的库是snownlp库,github项目地址:https://github.com/isnowfy/snownlp

文章目录

安装

pip安装:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ snownlp

使用方法

除了官方的使用案例,其他常用的操作都在下面有所总结

from snownlp import SnowNLP

s = SnowNLP(
    '自然语言处理(英语:Natural Language Processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言处理包括多方面和步骤,基本有认知、理解、生成等部分。')
print(s.words)  # 分词:['自然', '语言', '处理', '(', '英语'...
print(list(s.tags))  # 词性标注: ('自然', 'n'), ('语言', 'n'), ('处理', 'v')...
print(s.sentiments)  # 情感分析: 0.9999997920922455 大于0.4为积极,否则为消极
print(s.pinyin)  # 拼音:['Zi', 'ran', 'yu', 'yan', 'chu'...
print(s.keywords(3))  # 关键词:['语言', '自然', '领域']
print(s.summary(3))  # 摘要/文本概括:'自然语言处理包括多方面和步骤', '此领域探讨如何处理及运用自然语言', '自然语言处理(英语:Natural Language Processing']
print(s.sim([u'文章']))  # 词的相似度[0,0,0...

s2 = SnowNLP([  # 若要计算TF IDF值,注意传入数据格式为 list to list 格式
    s.words
])
print(s2.tf)  # TF值: [{'自然': 3, '语言': 4, '处理': 3...
print(s2.idf)
print(SnowNLP('自然語言處理').han)  # 繁体转简体

注:停用词表位置:/snownlp/snownlp/normal/stopwords.txt

猜你喜欢

转载自blog.csdn.net/weixin_35757704/article/details/114530706