Python 自然语言处理

一. 中文分词技术

中文自动分词可主要归纳为“规则分词”“统计分词”和“混合分词”,规则分词主要是通过人工设立词库,按照一定方式进行匹配切分,实现简单高效,但对新词很难进行处理,统计分词能够较好应对新词发现能特殊场景,但太过于依赖语料的质量,因此实践中多是采用两者的结合,即混合分词。

1.1 规则分词

猜你喜欢

转载自www.cnblogs.com/herokk/p/10129104.html