本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇，文如其名，没什么新意。谈起“新词识别”“新词发现”，有许多论文慷慨陈词：要设计丰富的特征模板、建立训练语料库、引入CRF、ME、SVM、神经网络等模型并综合起来、在某某的基础上加入某种规则改进、最终在一个98年芝麻大小的训练集上训练出一个西瓜那么大的模型，并且在细菌大小的测试集上提高了2.33%的OOV识别率，展望未来，一定可以应用到更广阔的领域中。可惜现实总是很残酷：既没有人力物力整理语料，服务器也只有绿豆大小的内存，放不下半个西瓜。简单好用的方法有...
继续阅读：码农场 » 基于信息熵和互信息的新词识别
原文链接：http://www.hankcs.com/nlp/new-word-discovery.html
转载于:https://my.oschina.net/hankcs/blog/701080