马尔可夫随机场数学原理理解

马尔科夫随机场（Markov Random Fields，MRF）是无向概率图模型。那什么是马尔可夫随机场呢？它又能解决什么问题呢？

比如一个图像去噪问题：

图像去噪马尔可夫随机场建模

马尔可夫随机场中的每一个节点代表一个像素点，这是图结构的建模过程。节点之间由边连接，也即是像素点之间由边相连。在这里也可以看出马尔可夫随机场是一个无向的概率图模型。

马尔科夫随机场定义

马尔科夫随机场（Markov Random Fields，MRF）联合概率分布可以表示以下分解形式，其联合概率分布可以表示成局部势函数，或者说局部因子连乘积的形式，可表示为如下所示形式：

$p\left(x_{1}, \ldots, x_{n}\right)=\frac{1}{Z_{\Phi}} \prod_{i=1} \phi_{i}\left(D_{i}\right)$

等式的左边代表的是一个联合概率分布，可表示为势函数 $\phi_{i}$ (因子)的连乘积的形式。 $Z_{\Phi}$ 为联合概率分布的归一化因子(使得其满足概率求和等于1)，通常称为配分函数（partition function）。 $D_{i}$ 是随机变量的集合，因子 $\phi_{i}(D_{i})$ 是从随机变量集合到实数域的一个映射，称为势函数或因子。

$\begin{aligned} &\Phi=\left\{\phi_{i}\left(D_{i}\right), \ldots, \phi_{K}\left(D_{K}\right)\right\}\\ &\tilde{p}\left(x_{1}, \ldots, x_{n}\right)=\prod_{i=1} \phi_{i}\left(D_{i}\right)\\ &Z_{\Phi}=\sum_{x_{1}, \ldots} \tilde{p}\left(x_{1}, \ldots, x_{n}\right) \end{aligned}$

上述公式可能不太清晰，可以通过以下举例加深理解：

马尔科夫随机场简单例子

它包含了四个变量，变量之间由边连接而成。没一条边上定义了一个因子 $\phi_{i}$ 。每一个因子的参数矩阵可以表示成上图中左下角的矩阵所示。

在上图中联合概率分布是通过局部势函数连乘积的形式所描述的，那局部势函数和边缘概率的关系是什么呢？它们之间并没有直接的关系。它们是部分和整体的关系。联合概率和边缘概率需要考虑所有变量间的概率依赖关系。局部势函数只考虑局部变量取值概率的大小关系，边缘概率是对联合概率分布做边缘化求和以后算出的边缘概率的取值。

马尔科夫随机场简单例子续