NLP中文分词技术

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\www_nlp\AppData\Local\Temp\jieba.cache
Loading model cost 0.888 seconds.
Prefix dict has been built succesfully.
样本之一: 各位代表:这次大会选举我继续担任中华人民共和国主席,我对各位代表和全国各族人民给予我的信任,表示衷心的感谢!担任中华人民共和国主席这一崇高职务,使命光荣,责任重大。我将一如既往,忠实履行宪法赋予的职责,忠于祖国,忠于人民,恪尽职守,竭尽全力,勤勉工作,赤诚奉献,做人民的勤务员,接受人民监督,决不辜负各位代表和全国各族人民的信任和重托!一切国家机关工作人员,无论身居多高的职位,都必须牢记我们的共和国是中华人民共和国,始终要把人民放在心中最高的位置,始终全心全意为人民服务,始终为人民利益和幸福而努力工作。

----------------------->开始分词
样本分词结果: 各位
样本分词结果: 代表
样本分词结果: :
样本分词结果: 这次
样本分词结果: 大会
样本分词结果: 选举
样本分词结果: 我
样本分词结果: 继续
样本分词结果: 担任
样本分词结果: 中华人民共和国
样本分词结果: 主席
样本分词结果: ,
样本分词结果: 我
样本分词结果: 对
样本分词结果: 各位
样本分词结果: 代表
样本分词结果: 和
样本分词结果: 全国
样本分词结果: 各族人民
样本分词结果: 给予
样本分词结果: 我
样本分词结果: 的
样本分词结果: 信任
样本分词结果: ,
样本分词结果: 表示
样本分词结果: 衷心
样本分词结果: 的
样本分词结果: 感谢
样本分词结果: !
样本分词结果: 担任
样本分词结果: 中华人民共和国
样本分词结果: 主席
样本分词结果: 这一
样本分词结果: 崇高
样本分词结果: 职务
样本分词结果: ,
样本分词结果: 使命
样本分词结果: 光荣
样本分词结果: ,
样本分词结果: 责任重大
样本分词结果: 。
样本分词结果: 我
样本分词结果: 将
样本分词结果: 一如既往
样本分词结果: ,
样本分词结果: 忠实
样本分词结果: 履行
样本分词结果: 宪法
样本分词结果: 赋予
样本分词结果: 的
样本分词结果: 职责
样本分词结果: ,
样本分词结果: 忠于祖国
样本分词结果: ,
样本分词结果: 忠于
样本分词结果: 人民
样本分词结果: ,
样本分词结果: 恪尽职守
样本分词结果: ,
样本分词结果: 竭尽全力
样本分词结果: ,
样本分词结果: 勤勉
样本分词结果: 工作
样本分词结果: ,
样本分词结果: 赤诚
样本分词结果: 奉献
样本分词结果: ,
样本分词结果: 做
样本分词结果: 人民
样本分词结果: 的
样本分词结果: 勤务员
样本分词结果: ,
样本分词结果: 接受
样本分词结果: 人民
样本分词结果: 监督
样本分词结果: ,
样本分词结果: 决不
样本分词结果: 辜负
样本分词结果: 各位
样本分词结果: 代表
样本分词结果: 和
样本分词结果: 全国
样本分词结果: 各族人民
样本分词结果: 的
样本分词结果: 信任
样本分词结果: 和
样本分词结果: 重托
样本分词结果: !
样本分词结果: 一切
样本分词结果: 国家机关
样本分词结果: 工作人员
样本分词结果: ,
样本分词结果: 无论
样本分词结果: 身居
样本分词结果: 多高
样本分词结果: 的
样本分词结果: 职位
样本分词结果: ,
样本分词结果: 都
样本分词结果: 必须
样本分词结果: 牢记
样本分词结果: 我们
样本分词结果: 的
样本分词结果: 共和国
样本分词结果: 是
样本分词结果: 中华人民共和国
样本分词结果: ,
样本分词结果: 始终
样本分词结果: 要
样本分词结果: 把
样本分词结果: 人民
样本分词结果: 放在
样本分词结果: 心中
样本分词结果: 最高
样本分词结果: 的
样本分词结果: 位置
样本分词结果: ,
样本分词结果: 始终
样本分词结果: 全心全意
样本分词结果: 为
样本分词结果: 人民
样本分词结果: 服务
样本分词结果: ,
样本分词结果: 始终
样本分词结果: 为
样本分词结果: 人民
样本分词结果: 利益
样本分词结果: 和
样本分词结果: 幸福
样本分词结果: 而
样本分词结果: 努力
样本分词结果: 工作
样本分词结果: 。

---------------------------------->统计分词结果
样本的top(10)词为: ('', 19)
样本的top(10)词为: ('', 8)
样本的top(10)词为: ('人民', 6)------------------------------习大大还是把人名放在首位的!赞赞赞
样本的top(10)词为: ('', 4)
样本的top(10)词为: ('', 4)
样本的top(10)词为: ('各位', 3)
样本的top(10)词为: ('代表', 3)
样本的top(10)词为: ('中华人民共和国', 3)
样本的top(10)词为: ('始终', 3)
样本的top(10)词为: ('担任', 2)

Process finished with exit code 0

猜你喜欢

转载自www.cnblogs.com/RHadoop-Hive/p/10337480.html