统计学习方法笔记（十五）条件随机场（一）

条件随机场

条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率模型，其假设输出随机变量构成马尔可夫随机场

概率无向图模型

概率无向图模型，又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。
一、模型定义
1、图是由结点及连接节点的边组成的集合。无向图是指边没有方向的图。
概率图模型是由图表示的概率分布。设有联合概率分布$P(Y)$ ，$Y$ 是一组随机变量，由无向图$G = (V,E)$ 表示概率分布$P(Y)$ ，即在图中，结点表示一个随机变量，边表示随机变量之间的依赖关系。
2、无向图随机变量之间的概率依赖关系：
成对马尔可夫性：设$u$ 与 $v$ 是无向图中任意两个没有边连接的结点，其对应的随机变量分别为$Y_u$ 与 $Y_v$ ，其他所有结点记为$O$ ，其对应的随机变量记为$Y_o$ ，所谓的成对马尔可夫性，指给定随机变量$Y_o$ 下随机变量$Y_u$ 与 $Y_v$ 是条件独立的。即有：
$P({Y_u},{Y_v}|{Y_O}) = P({Y_u}|{Y_O})P({Y_v}|{Y_O})$
局部马尔可夫性：设$v$ 是无向图中任意一个结点，$W$ 是与其有边连接的所有结点，$O$ 是除$v$，$W$ 之外的所有结点，局部马尔可夫性是指在给定随机变量组$Y_w$ 的条件下随机变量$Y_v$ 与随机变量组$Y_O$ 是独立的，即：
$P({Y_v},{Y_O}|{Y_W}) = P({Y_v}|{Y_W})P({Y_O}|{Y_W})$
当$P({Y_O}|{Y_W}) > 0$ 时，有：
$P({Y_v}|{Y_W}) = P({Y_v}|{Y_W},{Y_O})$
全局马尔可夫性：结点集合A，B是在无向图中被结点集合C分开的任意结点集合，全局马尔可夫性指给定随机变量组$Y_C$ 条件下随机变量组$Y_A$，$Y_B$ 是条件独立的，即：$P({Y_A},{Y_B}|{Y_C}) = P({Y_A}|{Y_C})P({Y_B}|{Y_C})$
上述成对的、局部的、全局的马尔可夫性定义是等价的。
3、概率无向图模型
如果联合概率分布$P(Y)$ 满足成对、局部或全局马尔可夫性，则称此联合概率分布为概率无向图模型
二、概率无向图模型的因子分解
团与最大团：无向图中任何两个结点均有边连接的结点子集称为团，如果团中不能再加入任何一个结点使之成为更大的团，则称其为最大团。
因子分解：将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作。
设$Y_C$ 为最大团对应的随机变量，则有：$P(Y) = \frac{1}{Z}\prod\limits_C {{\psi _C}({Y_C})}$
其中，Z是规范化因子，有$Z = \sum\limits_Y {\prod\limits_C {{\psi _C}({Y_C})} }$
${\psi _C}({Y_C})$ 称为势函数，是严格正的，通常定义为指数函数：
${\psi _C}({Y_C}) = \exp \{ - E({Y_C})\}$

条件随机场的定义与形式

一、定义
在给定随机变量X的条件下，随机变量Y的马尔可夫随机场
条件随机场：设X与Y是随机变量，$P(Y|X)$ 是在给定X条件下Y的条件概率分布，若Y构成一个马尔可夫随机场，即：
$P({Y_v}|X,{Y_w},w \ne v) = P({Y_v}|X,{Y_w},w \sim v)$
线性链条件随机场：在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y|X) 构成条件随机场，即满足马尔可夫性：
$P({Y_i}|X,{Y_1}, \cdots ,{Y_{i - 1}},{Y_{i + 1}}, \cdots ,{Y_n}) = P({Y_i}|X,{Y_{i - 1}},{Y_{i + 1}})$
二、条件随机场的参数化
定理11.2：设$P(Y|X)$ 为线性链条件随机场，则：
$P(y|x) = \frac{1}{{Z(x)}}\exp \left( {\sum\limits_{i,k} {{\lambda _k}{t_k}({y_{i - 1}},{y_i},x,i) + \sum\limits_{i,l} {{\mu _l}{s_l}({y_i},x,i)} } } \right)$
其中，$t_k$ 和 $s_l$ 是特征函数，${\lambda _k}\;{\mu _l}$ 是对应的权值。
三、简化形式
将局部特征函数转化为全局特征函数，将条件随机场写成权值向量和特征向量的内积形式，记：




将条件随机场写成向量w与F(y,x)的内积形式：
${P_w}(y|x) = \frac{{\exp (wF(y,x))}}{{{Z_w}(x)}}$
四、条件随机场的矩阵形式
${P_w}(y|x) = \frac{1}{{{Z_w}(x)}}\prod\nolimits_{i = 1}^{n + 1} {{M_i}({y_{i - 1}},{y_i}|x)}$