使用 LTP的Python包——pyltp 进行中文分词

哈工大语言技术平台LTP(Language Technology Platform)提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。LTP本身是基于C++开发的,不过官方也提供了Python的封装包--pyltp

win10 +python3.6

【1】安装LTP的Python扩展包--pyltp

参考网址:点击打开链接

注:pip 安装可能报错:error: command 'F:\\Program Files (x86)\\Microsoft Visual Studio\\2017\\Communit

y\\VC\\Tools\\MSVC\\14.12.25827\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2

解决:点击打开链接

【2】部署语言模型库

下载完整的 LTP 模型文件: 下载地址

【3】基本使用

见关于pyltp的官方使用文档

import pyltp
import os
model_path="D:\\ltp 3.4.0\\cws.model"
from pyltp import Segmentor
segmentor=Segmentor()
segmentor.load(model_path)
words=segmentor.segment("沈巍的手冰凉冰凉的,像刚从冰柜里捞出来的尸体,赵云澜一碰就一愣,忍不住抬头看了对方一眼,"
                        "这一来,正好对上沈巍镜片后的目光。虽然沈巍迅速地移开了目光,可赵云澜就是觉得,沈巍看他的眼神似乎有点奇怪……"
                        "不知道该如何形容,总之那并不是看一个陌生人的目光。")

结果如下:


一碰,一愣,一眼,一来不应分开?


猜你喜欢

转载自blog.csdn.net/ZHUJIYAO/article/details/80970659
今日推荐