统计学习方法读书笔记（十一）-条件随机场

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

条件随机场（conditional random field CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。白板推导系列笔记（十七）-条件随机场

一、概率无向图模型

概率无向图模型（probabilistic undirected graphical model) ，又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。

• 成对马尔可夫性（pairwise Markov property）
• 局部马尔可夫性（local Markov property）
• 全局马尔可夫性（global Markov property）

概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的因子分解（factorization）。

团：任意两个节点均有边连接。
最大团：是一个团，并且不能加入任意一个节点组成一个新的团。

概率元向图棋型的联合概率分布$P(Y)$可以表示为如下形式：$$\begin{gathered} P(Y)=\frac{1}{Z}\prod _C{\Psi }_C(Y_C) \\ Z=\sum _Z\prod _C{\Psi }_C(Y_C) \end{gathered}$$

二、条件随机场的定义与形式

件随机场（conditional random field）是给定随机变量$X$条件下，随机变量$Y$的马尔可夫随机场。

线性链条件随机场也是对数线性模型(log linear model）。

三、条件随机场的概率计算问题

• 前向-后向算法
• 概率计算
• 期望值的计算

四、条件随机场的学习算法

• 改进的迭代尺度算法
• 拟牛顿法

五、条件随机场的预测算法

• 维特比算法
  

下一章传送门：统计学习方法读书笔记（十二）-监督学习方法总结