1.基本機能と単語の使用状況
各単語（ユニコード）とjieba.cut構造は反復発生器をjieba.cut_for_search戻された後、得られたループのための単語を得るために使用することができます
jieba.cutの方法は、三つの入力パラメータを取ります。
- 必須の単語列
- フルモードを使用するかどうかを制御するために使用cut_allパラメータ
- HMMのパラメータは、HMMモデルかどうかを制御するために使用されています
この方法は、2つのパラメータを取りjieba.cut_for_search
- 必須の単語列
- HMMモデルを使用するかどうか。
検索エンジンが逆索引語を構築するために、この方法は、比較的小さい粒子サイズに適しています
import jieba
seg_list=jieba.cut("我在学习自然语言处理",cut_all=True)
print(seg_list)
print("Full Mode:"+"/".join(seg_list)) #全模式
seg_list1=jieba.cut('我在学习自然语言处理',cut_all=False)
print("Default Mode:"+"/".join(seg_list1)) #精确模式
seg_list2 = jieba.cut("他毕业于上海交通大学，在百度深度学习研究院进行研究") # 默认是精确模式
print(", ".join(seg_list2))
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在哈佛大学深造") # 搜索引擎模式
print(", ".join(seg_list))
Full Mode: 我/ 在/ 学习/ 自然/ 自然语言/ 语言/ 处理
Default Mode: 我/ 在/ 学习/ 自然语言/ 处理
他, 毕业, 于, 上海交通大学, ，, 在, 百度, 深度, 学习, 研究院, 进行, 研究
小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 哈佛, 大学, 哈佛大学, 深造
jieba.lcutとjieba.lcut_for_search直接リターンリスト
result_lcut = jieba.lcut("小明硕士毕业于中国科学院计算所，后在哈佛大学深造")
print(result_lcut)
print(" ".join(result_lcut))
print( " ".join(jieba.lcut_for_search("小明硕士毕业于中国科学院计算所，后在哈佛大学深造")))
[u'\u5c0f\u660e', u'\u7855\u58eb', u'\u6bd5\u4e1a', u'\u4e8e', u'\u4e2d\u56fd\u79d1\u5b66\u9662', u'\u8ba1\u7b97\u6240', u'\uff0c', u'\u540e', u'\u5728', u'\u54c8\u4f5b\u5927\u5b66', u'\u6df1\u9020']
小明 硕士 毕业 于 中国科学院 计算所 ， 后 在 哈佛大学 深造
小明 硕士 毕业 于 中国 科学 学院 科学院 中国科学院 计算 计算所 ， 后 在 哈佛 大学 哈佛大学 深造
ユーザー定義の辞書を追加します。
私たちは、自分のシーンのための言葉である必要は多くの場合、フィールド内のいくつかの技術的な用語があるでしょう。
-
ユーザー辞書はjieba.load_userdict（FILE_NAME）をロードすることができます
-
いくつかの単語自体は手動で次のメソッドを追加することができます。
- add_word（ワード、FREQ =なし、タグ=なし）とdel_word（ワード）を使用して動的にプログラムで辞書を変更
- それは（またはすることができない）を分割することができるように、単語頻度のsuggest_freq（セグメント、曲= TRUE）個々の単語を用いて、調整することができます
print('/'.join(jieba.cut('如果放到旧字典中将出错。', HMM=False)))
如果/放到/旧/字典/中将/出错/。
jieba.suggest_freq(('中', '将'), True)
494
print('/'.join(jieba.cut('如果放到旧字典中将出错。', HMM=False)))
如果/放到/旧/字典/中/将/出错/