条件随机场(crf)相关理解

 https://www.zhihu.com/question/35866596

建模公式:(一套CRF由一套参数λ唯一确定(先定义好各种特征函数))

 

  • 公式中O为观测序列,是X, I为隐状态序列, 为Y。  
  • i为观测序列第i个token,k为第k个特征。
  • 打分:指数上的特征加权。分数越高证明序列越靠谱,所以通过分数高可以确定\lambda

HMM, MEMM,CRF的模型区别:

  1. HMM,CRF为生成模型,MEMM为判别模型。
  • HMM:P(It|It-1)*P(Ot|It),隐状态转移以及观测状态依赖于隐状态。
  • MEMM:P(It|It-1, Ot), 隐状态依赖于当前时刻观测以及上一时刻隐状态。
  • CRF:综合考虑,设计了两种特征,把有向变成无向。

对比:

  • HMM可以被看做是一种CRF,只不过CRF特征更广泛,比起局部的HMM更能发现整个句子特征。
  • MEMM具有标注偏执问题,因为局部归一化,偏向于往状态分支较少的状态方向转移。

猜你喜欢

转载自blog.csdn.net/silent_crown/article/details/84797651