nlp--単語

自然言語処理では、コーパスの単語は、最も基本的かつ重要なステップの一つです。一般的に使用される単語のpythonパッケージでjieba、snownlp、thulac、などのpkusegを持っています。具体的な言及は、公式文書で使用することができます。

jieba：https://github.com/fxsjy/jieba

pkuseg：https://github.com/lancopku/pkuseg-python

snownlp：https://github.com/isnowfy/snownlp

Thulach：https://github.com/thunlp/THULAC

hanlp：https://github.com/hankcs/pyhanlp