拼写纠错杂记

因最近在做语音问答系统,语音识别系统暂时调用大佬公司的API接口,试着针对我们垂直领域的问题测试了一批语音识别的效果,正确错误的各一半一半,错误有三种情况:1)只识别到小部分录入内容;2)识别内容完整,但是包含错词;3)识别的文字跟录入的内容毫无关系。第三种情况占比较少,前两种情况大概各一半一半。
不是大佬公司的语音识别模块做得不好,可能是因为我们专业领域中有些词不是常用词吧。针对前两种情况,我们只能采用一些策略进行补救,针对第一种情况,还未仔细考虑,有一个比较笨但可能有效的方法,现在主要针对第二种错误进行展开。

pycorrector

首先,特别感谢shibing624大佬开源项目pycorrector,是一个很好的中文文本纠错工具。能对音似、形似错字(或变体字)纠正,可用于中文拼音、笔画输入法的错误纠正,采用python3开发,感兴趣的童鞋可以将代码下载下来进行学习,代码还是很nice的。
pycorrector依据语言模型检测错别字位置,通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。
其主模块主要是基于规则,纠错主要分为两大步:1)检错;2)纠错。
先来说说检错,先对句子进行jieba切词,认为是错词的情况有两种:一种是该词在用户定义的混淆集中;另一种是该词不是常用词。以上是在词粒度进行检错,在字粒度进行检错是通过n-gram模型,因为打开字粒度检错,误检率太高,所以我没采用此模块。
检错后就该进行纠错了,如果错词是通过混淆集检出来的,则直接根据混淆词典改正;如果是另一种情况,则找出其音相近的词(我将原代码改了,对错词中的每个字都找其音相近的,再组合到一起;并且把字形相似的也关闭了,以适用于语音识别的结果)作为候选集,将候选词带入到原句中,句子混淆度最低的词则作为正确词。
语音识别的大多情况是:这个颈膜很好啊(原句)->这个警模很好啊(识别结果),即错词也是有意义的、常用的词,利用pycorrector很难检测出错误。这种情况下怎么办呢?

解决方案

下边的解决方案,目前也只是我的idea,还未进行实验,实验过后再进行补充。

  1. 比较笨的方法,依然基于上述主模块规则,大批量统计混淆词,语音识别结果中出现混淆词则认为是错词,将其混淆集作为候选集,利用上述句子混淆度选出正确词。缺点是:傻(原句是正确的也义无反顾的要把混淆集测一遍,可能还会换成错误的)。
  2. 利用rnn_crf进行检错,检出可能错误的词,再利用pycorrector的方法进行纠错,需要大量人力做训练集,定位错词位置。rnn_crf的检错能力至关重要。
  3. 现在有人采用seq2seq进行纠错,这个模型的缺点是对没见过的正确语句,也极大可能给改错,即误纠率很高。但是该模型纠错不需要进行错词的定位,所以训练一个句子混淆度模型,用该模型判断输入句子有无错误,如果有错,再送进seq2seq进行纠错。

测试结果

1.利用rnn_crf进行检错,误判率和正确检出率都很差,我实验的具体做法是,先用jieba分词对每句话进行切词,然后对词进行属性标记,将错词的属性记为R,然后进行训练,检错时,就是利用R定位错词位置。如果具体方法有误,望大神告知。因为测试效果很差,所以没采用此方法。
2.利用seq2seq进行纠错的方法,因为我们的适用场景对答案的准确度要求比较高,加之,通过pycorrector中示例,发现此种方法效果并不好,因此,没有采用这种方法。
3.最后就是采用傻傻的方法,录制一批数据,定制自己的混淆集,一句话中但凡出现混淆集中的词,则将该词和其候选集带入原句,通过kenlm对原数据集进行训练,对句子进行混淆度计算,选出混淆度最低的词。经过测试,这种算法的纠错率很高,而且误判率很低,虽然是很笨的方法,但是效果还是很好滴。

猜你喜欢

转载自blog.csdn.net/Suan2014/article/details/84374793
今日推荐