特征函数便是图中的conditional。对图简单的说明，综合概述Naive Bayes，Logistic Regression，HMM，Linear-chain CRF之间的关系。Naive Bayes经过条件参数的加入即为Logistic Regression，同时这两者经过序列化即特征函数加入了对相邻状态之间的判断即变为HMM和Linear-chain CRF，最后经过广义图模型的扩展变为最后两者。
马尔可夫网络（Markov network），PGM（概率图模型）中的无向图模型，也即马尔可夫随机场（ Markov random Field，MRF），是一个可以由无向图表示的联合概率分布，属于生成式模型。与“马尔可夫”有关的随机过程或概率模型般都是基于马尔可夫假设 的，也即下一个时间点的状态只与当前的状态有关系，换言之，决定你未来状态的不是你的过去而是你现在的状态。
马尔可夫网络可用于表示变量之间的依赖关系，与贝叶斯网络不同的是，它可以表示贝叶斯网络无法表示的一些依赖关系，比如循环依赖：另一方面，它不能表示贝叶斯网络能够表示的某些关系，比如推导关系。
首先学习一下随机场的概念，其定义为：当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。其中两个重要的概念是“位置”和“相空间”。“位置”好比是一亩亩农田“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。马尔可夫随机场是具有马尔可夫特性的随机场。拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。
图是由结点及连接结点的边组成的集合，结点和边的集合分别记作
V
V
V
E
E
E
G
=
(
V
，
E
)
G=(V，E)
G = ( V ， E )
假设有联合概率分布
P
(
Y
)
P(Y)
P ( Y )
Y
=
{
y
1
，
y
2
，
…
，
y
n
}
Y=\{y_1，y_2，\ldots，y_n\}
Y = { y 1 ， y 2 ， … ， y n }
G
=
(
V
，
E
)
G=(V，E)
G = ( V ， E )
P
(
Y
)
P(Y)
P ( Y )
G
G
G
v
∈
V
v\in V
v ∈ V
Y
Y
Y
e
∈
E
e\in E
e ∈ E
首先，定义三个重要的概念
1、成对马尔可夫性：假设
u
u
u
v
v
v
G
G
G
Y
u
Y_u
Y u
Y
y
Y_y
Y y
O
O
O
Y
o
Y_o
Y o
Y
o
Y_o
Y o
Y
u
Y_u
Y u
Y
v
Y_v
Y v
P
(
(
Y
u
，
Y
v
)
∣
Y
o
)
=
P
(
Y
u
∣
Y
o
)
P
(
Y
v
∣
Y
o
)
P((Y_u，Y_v)|Y_o)=P(Y_u|Y_o)P(Y_v|Y_o)
P ( ( Y u ， Y v ) ∣ Y o ) = P ( Y u ∣ Y o ) P ( Y v ∣ Y o )
2、局部马尔可夫性：假设
v
a
n
y
∈
V
v_{any}\in V
v a n y ∈ V
G
G
G
W
W
W
v
a
n
y
v_{any}
v a n y
O
O
O
v
a
n
y
v_{any}
v a n y
W
W
W
Y
W
Y_W
Y W
Y
v
a
n
y
Y_{v{any}}
Y v a n y
Y
O
Y_O
Y O
在
W
情
况
下
现
在
Y
v
a
n
y
,
Y
O
的
可
能
P
(
(
Y
v
a
n
y
,
Y
O
)
∣
Y
W
)
=
P
(
Y
v
a
n
y
∣
Y
W
)
P
(
Y
O
∣
Y
W
)
用
在
W
,
Y
O
情
况
下
现
在
Y
v
a
n
y
的
可
能
表
示
=
=
=
在
W
情
况
下
现
在
Y
v
a
n
y
,
Y
O
的
可
能
∵
P
(
(
Y
v
a
n
y
,
Y
O
)
∣
Y
W
)
=
P
(
Y
v
a
n
y
∣
(
Y
O
,
Y
w
)
)
P
(
Y
O
∣
Y
w
)
w
h
e
n
P
(
Y
O
∣
Y
w
)
>
0
∴
P
(
Y
v
a
n
y
∣
(
Y
O
,
Y
W
)
)
=
P
(
Y
v
a
n
y
∣
Y
W
)
\begin{array}{c} 在W情况下现在Y_{v_{any}},Y_O的可能 \\{P\left((Y_{v_ {any}}, Y_{O}) | Y_{W}\right)=P\left(Y_{v_{any}} | Y_{W}\right) P\left(Y_{O} | Y_{W}\right)} \\用在W,Y_O情况下现在Y_{v_{any}}的可能表示===在W情况下现在Y_{v_{any}},Y_O的可能 \\ \because P\left((Y_{v_{any}}, Y_{O})| Y_{W}\right)=P\left(Y_{v_{any}} |( Y_{O}, Y_{w})\right) P\left(Y_{O} | Y_{w}\right) \\ when \quad P\left(Y_{O} | Y_{w}\right)>0 \\ \therefore { P\left(Y_{v_{any}} | (Y_{O}, Y_{W})\right)=P\left(Y_{v_{any}} | Y_{W}\right)} \end{array}
在 W 情 况 下 现 在 Y v a n y , Y O 的 可 能 P ( ( Y v a n y , Y O ) ∣ Y W ) = P ( Y v a n y ∣ Y W ) P ( Y O ∣ Y W ) 用 在 W , Y O 情 况 下 现 在 Y v a n y 的 可 能 表 示 = = = 在 W 情 况 下 现 在 Y v a n y , Y O 的 可 能 ∵ P ( ( Y v a n y , Y O ) ∣ Y W ) = P ( Y v a n y ∣ ( Y O , Y w ) ) P ( Y O ∣ Y w ) w h e n P ( Y O ∣ Y w ) > 0 ∴ P ( Y v a n y ∣ ( Y O , Y W ) ) = P ( Y v a n y ∣ Y W )
局部马尔科夫示意图：
3、全局马尔可夫性：假设结点集合
A
A
A
B
B
B
G
G
G
C
C
C
Y
C
Y_C
Y C
Y
A
Y_A
Y A
Y
B
Y_B
Y B
P
(
(
Y
A
，
Y
B
)
∣
Y
C
)
=
P
(
Y
A
∣
Y
C
)
P
(
Y
B
∣
Y
C
)
P\left((Y_{A}， Y_{B} )| Y_{C}\right)=P\left(Y_{A} | Y_{C}\right) P\left(Y_{B} | Y_{C}\right)
P ( ( Y A ， Y B ) ∣ Y C ) = P ( Y A ∣ Y C ) P ( Y B ∣ Y C )
上述成对的、局部的、全局的马尔可夫性定义是等价的。有了上面的基础，我们就可以定义概率无向图模型：设有联合概率分布
P
(
Y
)
P(Y)
P ( Y )
G
=
(
V
，
E
)
G=(V，E)
G = ( V ， E )
G
G
G
P
(
Y
)
P(Y)
P ( Y )
首先学习团、极大团和最大团的概念：无向图
G
G
G
C
C
C
G
G
G
G
G
G
C
C
C
N
N
N
N
(
N
−
1
)
2
\frac{N(N-1)}{2}
2 N ( N − 1 )
{
Y
1
，
Y
2
}
，
{
Y
1
，
Y
3
}
，
{
Y
2
，
Y
3
}
，
{
Y
3
，
Y
4
}
，
{
Y
2
，
Y
4
}
\{Y_1，Y_2\}，\{Y_1，Y_3\}，\{Y_2，Y_3\}，\{Y_3，Y_4\}，\{Y_2，Y_4\}
{ Y 1 ， Y 2 } ， { Y 1 ， Y 3 } ， { Y 2 ， Y 3 } ， { Y 3 ， Y 4 } ， { Y 2 ， Y 4 }
{
Y
1
，
Y
2
，
Y
3
}
\{Y_1，Y_2，Y_3\}
{ Y 1 ， Y 2 ， Y 3 }
{
Y
2
，
Y
3
，
Y
4
}
\{Y_2，Y_3，Y_4\}
{ Y 2 ， Y 3 ， Y 4 }
Y
1
Y_1
Y 1
Y
4
Y_4
Y 4
{
Y
1
，
Y
2
，
Y
3
，
Y
4
}
\{Y_1，Y_2，Y_3，Y_4\}
{ Y 1 ， Y 2 ， Y 3 ， Y 4 }
在MRF中，多个变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关，称为MRF的因式分解。对于
n
n
n
y
=
{
y
1
，
y
2
，
…
，
y
n
}
y=\{y_1，y_2，\ldots，y_n\}
y = { y 1 ， y 2 ， … ， y n }
G
G
G
C
C
C
对
应
的
变
量
集
合
为
对应的变量集合为
对 应 的 变 量 集 合 为
，
则
M
R
F
的
联
合
概
率
分
布
，则MRF的联合概率分布
， 则 M R F 的 联 合 概 率 分 布
P
(
Y
)
=
P
(
y
1
，
…
，
y
n
)
=
1
Z
∏
g
∈
C
ψ
Q
(
Y
θ
)
P(Y)=P\left(y_{1}， \ldots， y_{n}\right)=\frac{1}{Z} \prod_{g \in C} \psi_{Q}\left(Y_{\theta}\right)
P ( Y ) = P ( y 1 ， … ， y n ) = Z 1 ∏ g ∈ C ψ Q ( Y θ )
其中
ψ
Q
\psi_{Q}
ψ Q
Q
Q
Q
Z
Z
Z
P
(
Y
)
P(Y)
P ( Y )
Z
=
∑
Y
∏
Q
∈
C
ψ
Q
(
Y
Q
)
=
∑
y
1
，
…
，
y
n
∏
θ
∈
C
ψ
θ
(
Y
θ
)
Z=\sum_{Y} \prod_{Q \in C} \psi_{Q}\left(Y_{Q}\right)=\sum_{y_{1}， \ldots， y_{n} }\prod_{\theta \in C} \psi_{\theta}\left(Y_{\theta}\right)
Z = ∑ Y ∏ Q ∈ C ψ Q ( Y Q ) = ∑ y 1 ， … ， y n ∏ θ ∈ C ψ θ ( Y θ )
就是把所有可能的
n
n
n
显然，若变量个数较多，则团的数目将会很多，这将会给计算带来很大的负担。我们注意到，如果团
Q
Q
Q
Q
∗
Q^*
Q ∗
Y
Q
∈
Y
Q
∗
Y_Q\in Y_{Q^*}
Y Q ∈ Y Q ∗
Y
Q
Y_Q
Y Q
ψ
Q
\psi_{Q}
ψ Q
ψ
Q
∗
\psi_{Q^*}
ψ Q ∗
P
(
Y
)
P(Y)
P ( Y )
C
∗
C^*
C ∗
P
(
Y
)
=
P
(
y
1
，
…
，
y
n
)
=
1
Z
∗
∏
θ
∈
C
∗
ψ
Q
(
Y
Q
)
P(Y)=P\left(y_{1}， \ldots， y_{n}\right)=\frac{1}{Z^{*}} \prod_{\theta \in C^{*}} \psi_{Q}\left(Y_{Q}\right)
P ( Y ) = P ( y 1 ， … ， y n ) = Z ∗ 1 ∏ θ ∈ C ∗ ψ Q ( Y Q )
其中，
z
∗
z^*
z ∗
Z
∗
=
∑
Y
∏
Q
∈
C
∗
ψ
Q
(
Y
Q
)
=
∑
y
1
，
…
，
y
n
∏
Q
∈
C
∗
ψ
Q
(
Y
Q
)
Z^{*}=\sum_{Y} \prod_{Q \in \mathcal{C}^{*}} \psi_{Q}\left(Y_{Q}\right)=\sum_{y_{1}， \ldots， y_{n}} \prod_{Q \in \mathcal{C}^{*}} \psi_{Q}\left(Y_{Q}\right)
Z ∗ = ∑ Y ∏ Q ∈ C ∗ ψ Q ( Y Q ) = ∑ y 1 ， … ， y n ∏ Q ∈ C ∗ ψ Q ( Y Q )
接下来说一下势函数
ψ
Q
\psi_{Q}
ψ Q
ψ
Q
\psi_{Q}
ψ Q
ψ
Q
(
Y
Q
)
=
exp
{
−
E
(
Y
Q
)
}
\psi_{Q}\left(Y_{Q}\right)=\exp \left\{-E\left(Y_{Q}\right)\right\}
ψ Q ( Y Q ) = exp { − E ( Y Q ) }
其中，
E
(
Y
θ
)
E\left(Y_{\theta}\right)
E ( Y θ )
Y
Q
Y_{Q}
Y Q
Y
Q
Y_{Q}
Y Q
E
(
Y
Q
)
=
∑
u
，
v
∈
Q
，
v
≠
V
α
u
v
y
u
y
v
+
∑
v
∈
Q
β
v
y
v
E\left(Y_{Q}\right)=\sum_{u， v \in Q， v \neq V} \alpha_{u v} y_{u} y_{v}+\sum_{v \in Q} \beta_{v} y_{v}
E ( Y Q ) = ∑ u ， v ∈ Q ， v ̸ = V α u v y u y v + ∑ v ∈ Q β v y v
其中，
α
U
V
\alpha_{U V}
α U V
α
V
\alpha_{V}
α V
如图所示简单马尔科夫随机场：
图中极大团：
{
x
2
，
x
5
，
x
6
}
，
{
x
1
，
x
2
}
，
{
x
2
，
x
4
}
，
{
x
1
，
x
3
}
，
{
x
3
，
x
5
}
\left\{\mathrm{x}_{2}， \mathrm{x}_{5}， \mathrm{x}_{6}\right\}，\left\{\mathrm{x}_{1}， \mathrm{x}_{2}\right\}，\left\{\mathrm{x}_{2}， \mathrm{x}_{4}\right\}，\left\{\mathrm{x}_{1}， \mathrm{x}_{3}\right\}，\left\{\mathrm{x}_{3}， \mathrm{x}_{5}\right\}
{ x 2 ， x 5 ， x 6 } ， { x 1 ， x 2 } ， { x 2 ， x 4 } ， { x 1 ， x 3 } ， { x 3 ， x 5 }
联合概率分布表达式：
P
(
X
)
=
P
(
x
1
,
x
2
,
x
3
,
x
4
,
x
5
,
x
6
)
=
1
Z
ψ
256
(
X
2
,
X
5
,
X
6
)
ψ
12
(
X
1
,
X
2
)
ψ
24
(
X
2
,
X
4
)
ψ
13
(
X
1
,
X
3
)
ψ
35
(
X
3
,
X
5
)
P(X)=P\left(x_{1}, x_{2}, x_{3}, x_{4}, x_{5}, x_{6}\right) \\ =\frac{1}{Z} \psi_{256}\left(X_{2}, X_{5}, X_{6}\right) \psi_{12}\left(X_{1}, X_{2}\right) \psi_{24}\left(X_{2}, X_{4}\right) \psi_{13}\left(X_{1}, X_{3}\right) \psi_{35}\left(X_{3}, X_{5}\right)
P ( X ) = P ( x 1 , x 2 , x 3 , x 4 , x 5 , x 6 ) = Z 1 ψ 2 5 6 ( X 2 , X 5 , X 6 ) ψ 1 2 ( X 1 , X 2 ) ψ 2 4 ( X 2 , X 4 ) ψ 1 3 ( X 1 , X 3 ) ψ 3 5 ( X 3 , X 5 )
