NPL基于词典分词(一)

前言

自然数据处理里很重要的一环节就是中文分词，它指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。而中文分词算法大致分为基于词典规则与基于机器学习这两大派。

什么是词

在基于词典的中文分词中，词的定义要现实得多：词典中的字符串就是词。
根据齐夫定律：一个单词的词频与它的词频排名成反比。
在这里插入图片描述
即二八原理，20%的词用于80%的场景中，所以词典分词还是可行的。

切分算法

常见的基于词典的分词试式主要有四种。

完全切分

指的是，找出一段文本中的所有单词

输入：就读北京大学
输出：['就', '就读', '读', '北', '北京', '北京大学', '京', '大', '大学', '学']

输出了所有可能的单词。由于词库中含有单字，所以结果中也出现了一些单字。

正向最长匹配

我们更需要那种有意义的词语序列，而不是所有出现在词典中的单词所构成的链表。比如，我们希望“北京大学”成为一整个词，而不是“北京 + 大学”之类的碎片。具体来说，就是在以某个下标为起点递增查词的过程中，优先输出更长的单词，这种规则被称为最长匹配算法。从前往后匹配则称为正向最长匹配。

输入：就读北京大学
输出：['就读', '北京大学']
输入：研究生命起源
输出：['研究生', '命', '起源']

第二句话就会产生误差了，我们是需要把“研究”提取出来，结果按照正向最长匹配算法就提取出了“研究生”，所以人们就想出了逆向最长匹配。

逆向最长匹配

从后往前匹配则称为正向最长匹配，反之则称为逆向最长匹配

输入：研究生命起源
输出：['研究', '生命', '起源']
输入：项目的研究
输出：['项', '目的', '研究']

第一句正确了，但下一句又出错了，可谓拆东墙补西墙。另一些人提出综合两种规则，期待它们取长补短，称为双向最长匹配。

双向最长匹配

这是一种融合两种匹配方法的复杂规则集，流程如下：

同时执行正向和逆向最长匹配，若两者的词数不同，则返回词数更少的那一个。
否则，返回两者中单字更少的那一个。当单字数也相同时，优先返回逆向最长匹配的结果。

输入：研究生命起源
输出：['研究', '生命', '起源']
输入：项目的研究
输出：['项', '目的', '研究']

效率

匹配算法的瓶颈之一在于如何判断集合(词典)中是否含有字符串。《字典树》可帮忙提升效率，另外可以照以下关系递进优化：

扩展功能

利用词典可以实现以下功能

停用词过滤
简繁转换
拼音转换

对比

通过以上几种切分算法，我们可以做一个对比：
在这里插入图片描述
上图显示，双向最长匹配的确在2、3、5这3种情况下选择出了最好的结果，但在4号句子上选择了错误的结果，使得最终正确率 3/6 反而小于逆向最长匹配的 4/6 ，由此，规则系统的脆弱可见一斑。规则集的维护有时是拆东墙补西墙，有时是帮倒忙。所以不可能有一种分词器完全100%优秀，如何判断分词算法在XX业务背景下的的好坏？

准确率评测

在信息检索、统计分类、识别、预测、翻译等领域，两个最基本指标是准确率和召回率，用来评价结果的质量。
在这里插入图片描述

检索到的结果分为 “相关” 和 “不相关”
没检索到的结果同样分为 “相关” 和 “不相关”

准确率 = 检索到的相关文档数量 / 检索到的所有文档总数
召回率 = 检索到的相关文档数量 / 系统中所有相关文档的总数
F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) （F 值即为正确率和召回率的调和平均值）

不妨举这样一个例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：

正确率 = 700 / (700 + 200 + 100) = 70%
召回率 = 700 / 1400 = 50%
F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看如果把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化：

正确率 = 1400 / (1400 + 300 + 300) = 70%
召回率 = 1400 / 1400 = 100%
F值 = 70% * 100% * 2 / (70% + 100%) = 82.35%

由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。

OOV Recall 与 IV Recall

OOV指的是“未登录词”(Out Of Vocabulary)的简称，也就是新词；IV指的是“登陆词”(In Vocabulary)，也就是已经存在字典中的词。

OOV recall越低也就意味着词典分词器对有意义新词的发现或者说查找能力越低。
如果IV召回率低，就说明字典分词器连词典中的词汇都无法百分之百的发现或者找回，说明其消歧能力不好

算法	P	R	F1	R(oov)	R(IV)
最长匹配	89.41	94.64	91.95	2.58	97.14