序列标注理解

序列标注理解

经典序列标注算法模型的区别, 即贝叶斯NB, 隐马尔科夫HMM, 逻辑回归LR, 最大熵隐马尔科夫MEMM, 条件随机场CRF。

一、图示

二、说明

2.1 区别

主要区别有:

• 可以分成生成式模型(需要先求联合概率分布, 贝叶斯NB, 隐马尔科夫HMM)、判别式模型(只需要求条件概率分布, 逻辑回归LR, 最大熵隐马尔科夫MEMM, 条件随机场CRF)。
• 生成式模型的概率分布、LR是求和, 而判别式MEMM、CRF是叉积, 加法和乘法对应的是考虑全局观测序列O(1-n)是否当成一个整体。
• MEMM与CRF的区别是打分函数计算概率的时候, 分母的归一化策略的不同。 CRF是序列打分函数整体的softmax(所有路径), 而MEMM将其分解为逐项相乘(当前的局部路径, 路径从当前隐藏序列开始, 即前面已经确定的隐序列相当于固定了, 有点像贪心?)。

三、参考

• An introduction to conditional random fields
• 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
• 概率图模型体系：HMM、MEMM、CRF
• 简明条件随机场CRF介绍（附带纯Keras实现）
• CRF用过了，不妨再了解下更快的MEMM？