python之中文分词

目录

1、安装和使用jieba

2、分词练习

3、为jieba添加自定义的词典

4、知识点普及

1）分词文件怎么写

2）jieba.cut()参数说明

5、搜索引擎模式

---

1、安装和使用jieba

直接用命令：pip3 install jieba就可以了，如图所示表示成功。

2、分词练习

import jieba

if __name__ == '__main__':
    seg_gu=jieba.cut("故宫的重要景点：乾清宫", cut_all=False)
    print("Full Mode:", '/'.join(seg_gu))

 结果：Prefix dict has been built successfully.
Full Mode: 故宫/的/重要/景点/：/乾/清宫

可以看到“乾清宫”在分词时被分成了“乾”和“清宫”。这样是不对的，怎么办？

3、为jieba添加自定义的词典

创建一个dict.txt文件，然后在文件中写：

乾清宫 5 ns
黄琉璃瓦 4
云计算 5
李小福 2 nr
八一双鹿 nz
凯特琳 2 nz

修改代码：

import jieba

if __name__ == '__main__':
    jieba.load_userdict("/Users/chengsi/Desktop/Poision/eggs/crawlers/dict.txt")
    seg_gu=jieba.cut("故宫的重要景点：乾清宫", cut_all=False)
    print("Full Mode:", '/'.join(seg_gu))

结果：Prefix dict has been built successfully.
Full Mode: 故宫/的/重要/景点/：/乾清宫

4、知识点普及

1）分词文件怎么写

词典格式是一个词占一行：每一行分3个部分，一部分为词语，另一部分为词频，最后为词性。ns为地点名词，nz为其它转悠名词，a是形容词，v是动词，d是副词。

2）jieba.cut()参数说明

cut_all=True 全模式； cut_all=False 精确模式

5、搜索引擎模式

    # 搜索引擎模式
    text="我来自北京清华大学"
    qinghua=jieba.cut_for_search(text)
    print("搜索引擎模式:", '/'.join(qinghua))