图像的MAP-MRF模型

$\qquad$本文只是从一般的图像处理角度来看待Markov模型，并未从图模型的角度入手，主要参考《Markov.Random.Field.Modeling.In.Image.Analysis》一书。

1. 贴标签问题(Labeling problem)

$\qquad$给定一系列的位置 $(site)$ 和一系列的标签 $(label)$，贴标签问题 $(Labeling\ Problem)$是指，为每个地点贴上一个标签。

• 假设 $\mathcal S=\{s_{1},\cdots,s_{n},\cdots,s_{N}\}$ 表示具有 $N$ 个位置的离散位置集 $(discrete\ site\ set)$， $\mathcal L=\{l_{1},\cdots,l_{m},\cdots,l_{ M}\}$ 表示具有 $M$ 个标签的离散标签集 $(discrete\ label\ set)$
• 对于位置集 $\mathcal S$ 中的任意一个位置 $s_{n}$，都可以从标签集 $\mathcal L$ 中选择一个标签 $l_{m}$、给位置 $s_{n}$ “贴上一个标签” $(labeling)$
  

$\qquad$例如，对于一幅 $N\times N$ 大小的灰度图像而言：
$\qquad(1)$ “位置集” 可表示为 $\mathcal S=\{(i,j)\ |\ \forall\ i,j\in\{1,2,\cdots,N\}\ \}$
$\qquad(2)$ “标签集” 可表示为 $\mathcal L=\{l\ |\ 0,1,\cdots,255\}$

$\qquad$因此，贴标签问题相当于定义了一个映射 $\varphi$：
　　　　　　　　　　 $\varphi:\mathcal S \rightarrow \mathcal L$
　　　　　　　　　　 $\ \ \ \ \ \varphi(i,j)=l$ 或 $\varphi(s_{n})=l_{m}$
　　　　　　　　　　
$\qquad$显然，对于一副 $N\times N$ 大小的灰度图像，任意 $(i,j)$ 处像素的灰度值都可能是标签集 $\mathcal L$ 中元素 $0\sim255$ 中的一个（即：任一位置像素的灰度值具有 $256$ 种可能），对整幅图像而言、就存在 $256^{N^{2}}$ 种可能的贴标签方式。我们把其中任意一种贴标签的方式称为一种配置 $(configuration)$，任何一副 $N\times N$ 大小的灰度图像必然是这 $256^{N^{2}}$ 种配置中的一种。
$\qquad$

2. 邻域系统和子团(Neighborhood System and Cliques)

$\qquad$位置集 $\mathcal S=\{s_{1},\cdots,s_{N}\}$ 上的一个位置 $s_{i}$ 是通过邻域系统 $(Neighborhood\ System)$ 和另一个位置 $s_{j}$ 建立联系。

2.1 邻域系统

$\qquad$位置集 $\mathcal S$ 上的邻域系统可定义为： $\mathcal N=\{\mathcal N_{s_{i}}\ |\ \forall\ s_{i}\in\mathcal S\}$，其中 $\mathcal N_{s_{i}}$ 是邻近 $s_{i}$ 的一部分位置组成的集合。显然， $\mathcal N_{s_{i}}$ 描述了位置 $s_{i}$ 和邻近的位置 $s_{j}$ 之间的关系：
$\qquad(1)$ 位置 $s_{i}$ 和自己不是相邻的，即 $s_{i}\notin\mathcal N_{s_{i}}$
$\qquad(2)$ 邻域关系是相互的 $(mutual)$，即 $s_{i}\in\mathcal N_{s_{j}}\Longleftrightarrow s_{j}\in\mathcal N_{s_{i}}$　　【很关键的一点】

$\qquad$对于具有规则网格 $(regular\ lattice)$ 结构的位置集 $\mathcal S$（例如灰度图像），一种典型的定义邻域系统的方式是： $\mathcal N_{s_{i}}=\{s_{j}\in\mathcal S\ |\ \|s_{j}-s_{i}\|_{2}\le r,\forall\ j\not = i\}$，表示以 $s_{i}$ 为中心、 $r$ 为半径的圆内所包含的所有 $s_{j}$ 组成了位置 $s_{i}$ 的邻域 $\mathcal N_{s_{i}}$，如下图所示：

图1　引自于《Markov.Random.Field.Modeling.In.Image.Analysis》Figure 2.1

$\qquad$

2.2 子团

$\qquad$子团 $(Clique)$ 是位置集 $\mathcal S$ 中的子集 $(subset)$，可以包括“单个位置 $(single\ site)$” $\mathcal C_{1}$，“两个位置 $(pair\ sites)$” $\mathcal C_{2}$，“三个位置 $(triple\ sites)$” $\mathcal C_{3}$ 等情形。

$\qquad\qquad\mathcal C_{1}=\{s_{i}\ |\ s_{i}\in \mathcal S\}$
$\qquad\qquad\mathcal C_{2}=\{\ \{s_{i},s_{j}\}\ |\ s_{j}\in\mathcal N_{i},s_{i}\in \mathcal S\}$
$\qquad\qquad\mathcal C_{3}=\{\ \{s_{i},s_{j},s_{k}\}\ |\ s_{j}\in\mathcal N_{i},s_{k}\in\mathcal N_{i},s_{j}\in\mathcal N_{k} , s_{i},s_{j},s_{k}\in \mathcal S\}$，即： $s_{i},s_{j},s_{k}$ 彼此互为邻近点 $(neighbor)$

$\qquad$子团中的位置是有序的 $(ordered)$，即： $\{s_{i},s_{j}\}$ 和 $\{s_{j},s_{i}\}$ 是不一样的。

$\qquad$所有子团的并集记为 $\mathcal C=\mathcal C_{1}\cup\mathcal C_{2}\cup\mathcal C_{3}\cup\cdots$，这里的 $\cdots$ 表示所有可能的、更大的子团。

$\qquad$定义在规则网格 $(regular\ lattice)$ 结构的位置集 $\mathcal S$ 上的子团类型 $(type\ of\ a\ clique)$，取决于子团的大小、形状和方向。

图2 解释如下：

• 对于图1中 $r=1$ 的邻域系统， $\bold x$ 位置只和上下左右位置的像素点互为 $Neighbor$， $(a)$ 为 single-site clique， $(b)$ 和 $(c)$ 为 pair-sites clique；但是 $(d)$ 和 $(e)$ 却不是为 pair-sites clique，因为 $r=1$ 的邻域系统中对角线上的元素不满足互为 $Neighbor$ 的条件。

• 对于图1中 $r=2$ 的邻域系统， $\bold x$ 位置和上下左右以及对角的像素点互为 $Neighbor$， $(a)$ 为 single-site clique， $(b),(c),(d),(e)$ 都为 pair-sites clique（其中一个为 $\bold x$ 点）， $(f),(g),(h),(i)$ 都为 triple-sites clique（拐角处为 $\bold x$ 点）， $(j)$ 为 quadruple-sites clique（其中一个为 $\bold x$ 点），这些 clique 中的 site 都满足互为 $Neighbor$ 的条件。

$\qquad$不规则地点集 $(irregular\ site\ set)$ 的邻域系统和子团：
$\qquad$

引自于《Markov.Random.Field.Modeling.In.Image.Analysis》Figure 2.1 and Figure 2.2
在 $\mathcal C_2$ 中， $f$ 和 $m$ 两个位置不构成 clique，因为不满足互为 $Neighbor$ 的条件。

$\qquad$

3. Markov随机场(Markov Random Field)

3.1 随机场

$\qquad$令 $\boldsymbol F=\{F_{1},F_{2},\cdots,F_{N^{2}}\}$ 为定义在位置集 $\mathcal S =\{1,2,\cdots,N^{2}\}$ 上的一族随机变量（每个位置 $i$ 对应了一个随机变量 $F_{i}$），每个随机变量 $F_{i}$ 可从离散标签集 $\mathcal L=\{l\ |\ 0,1,\cdots,255\}$ 中取出一个整数 $f_{i}=0\sim255$ , 这样的一族随机变量 $\boldsymbol F$ 称为随机场。

$\qquad$如果将 $N\times N$ 大小的灰度图像（表示为一维）看成是一个随机场，那么， $N\times N$ 灰度图像随机场 $\boldsymbol F$ 的一种配置 $(configuration)$ 就表示为 $(F_{1}=f_{1},F_{2}=f_{2},\cdots,F_{N^{2}}=f_{N^{2}})$，记为 $(\boldsymbol F=\boldsymbol f)$，对应了随机场的一次实现 $(realization)$。

$\qquad$关于随机场 $\boldsymbol F$ 的联合概率 $P(\boldsymbol F=\boldsymbol f)=P(F_{1}=f_{1},F_{2}=f_{2},\cdots,F_{N^{2}}=f_{N^{2}})$ 简写为 $P(\boldsymbol f)$。
$\qquad$其中，位置 $i$ 所对应随机变量 $F_{i}$ 取值为 $f_{i}\in\mathcal L$ 的概率 $P(F_{i}=f_{i})$ 简写为 $P(f_{i})$。

$\qquad$

3.2 马尔科夫性(Markovianity)

$\qquad$当满足以下条件时，称随机场 $\boldsymbol F$ 是定义在 $\mathcal S =\{1,2,\cdots,N^{2}\}$ 上、关于邻域系统 $\mathcal{N}$ 的 $Markov$随机场 $(Markov\ Random\ Field)$：
$\qquad(1)$ 非负性：　　　 $P(\boldsymbol f)>0,\forall\ \boldsymbol f\in\mathbb F$
$\qquad(2)$ 马尔可夫性：　 $P(f_{i}|\boldsymbol f_{\mathcal{S}-\{i\}})=P(f_{i}|\boldsymbol f_{\mathcal{N}_{i}})$，其中 $\boldsymbol f_{\mathcal{N}_{i}}$ 表示邻域 $\mathcal{N}_{i}$ 中位置所对应随机变量

$\qquad$显然，马尔科夫随机场是一种概率模型。灰度图像随机场 $\boldsymbol F$ 的任意一种配置 $\boldsymbol f$，都以一定的概率 $P(\boldsymbol f)$ 对应了一幅（与其它配置所对应图像不一样的）灰度图像；而且， $N\times N$ 灰度图像中任意位置 $(x,y)$ 处像素的灰度值，只与该位置 $i\ (i=x\times N +y)$ 的邻域 $\mathcal{N}_{i}$ 所包含的像素灰度值有关。

$\qquad$例如，在图 $(1)$ 中如果用 $r=1$ 定义邻域系统， $\bold x$ 位置的像素值只和上下左右 $4$ 个像素值有关；如果用 $r=2$ 定义邻域系统， $\bold x$ 位置的像素值只和包围该位置的 $8$ 个像素值有关。这种“图像具有马尔科夫性”的假设，对于很多自然图像都是满足的。
$\qquad$

3.3 Gibbs随机场(Gibbs Random Field)

$\qquad$如果随机场 $\boldsymbol F$ 的任一配置 $(\boldsymbol F=\boldsymbol f)$ 的概率都服从 $Gibbs$ 分布，就称随机场 $\boldsymbol F$ 是定义在位置集 $\mathcal S =\{1,2,\cdots,N^{2}\}$ 上的 Gibbs随机场。

$\qquad$ $Gibbs$ 分布：

$\qquad\qquad P(\boldsymbol f)=\dfrac{e^{-\frac{1}{T}U(\boldsymbol f)}}{Z}$　，归一化常数 $Z=\displaystyle\sum_{\boldsymbol f\in \mathbb F}e^{-\frac{1}{T}U(\boldsymbol f)}$， 显然 $\displaystyle\sum_{\boldsymbol f\in \mathbb F}P(\boldsymbol f)=1$

$\qquad$其中：
$\qquad(1)$　“归一化常数” $Z$ 称为配分函数 $(partition\ function)$：所有配置 $\boldsymbol f\in \mathbb F$ 对应的 $e^{-\frac{1}{T}U(\boldsymbol f)}$ 值之和

$\qquad(2)$　常数 $T$ 为温度 $(temperature)$：用于控制 $Gibbs$ 分布的尖锐程度 $(sharpness)$

$\qquad$　　　当 $T$ 值很大，所有配置 $\boldsymbol f$ 的概率 $P(\boldsymbol f)$ 趋于相等；
$\qquad$　　　当 $T$ 值固定时，能量函数 $U(\boldsymbol f)$ 的值越小， $P(\boldsymbol f)$ 越大。

$\qquad(3)$　 $U(\boldsymbol f)$ 称为能量函数 $(energy\ function)$：所有子团的势能之和 $(sum\ of\ clique\ potentials)$

$\qquad\qquad\qquad U(\boldsymbol f)=\displaystyle\sum_{c\in \mathcal C}V_{c}(\boldsymbol f)$　　　　其中， $V_{c}(\boldsymbol f)$ 表示子团 $c$ 上的势能。

关于Gibbs分布的解释可参考《数字图像处理(王桥)》P167-168
和Gibbs分布、Boltzmann分布有关的求解过程基本上都可以采用模拟退火过程。

$\qquad$在实际计算能量函数的时候，通常需要考虑 $GRF$ 的两个特殊性质：齐次性 $(homogeneity)$，各向同性 $(isotropy)$。

• 齐次性：能量函数 $V_{c}(\boldsymbol f)$ 与子团 $c$ 在位置集 $\mathcal S$ 中的相对位置无关，仅仅取决于子团的形式（图2）、及其相应位置像素的取值

• 各向同性：能量函数 $V_{c}(\boldsymbol f)$ 与子团 $c$ 的方向无关

MRF/GRF 中的（空间）齐次性是对Markov链中（时间）齐次性的扩展。
一阶Markov链：
　　　 $P(X_{t+1}=x_{t+1}|X_{t}=x_{t},\cdots,X_{0}=x_{0})=P(X_{t+1}=x_{t+1}|X_{t}=x_{t})$
齐次的(homogeneous)一阶Markov链：
　　　记 $t$ 时刻的一步转移概率为： $P(X_{t+1}=j|X_{t}=i)=p_{ij}(t),\ \ \forall\ i,j\in$ 状态空间　
　　　当一步转移概率 $p_{ij}(t)$ 与时间 $t$ 无关，即： $p_{ij}(t)=p_{ij}$ 时，为齐次 $Markov$链。
　
《Markov.Random.Field.Modeling.In.Image.Analysis》2.1节对 $MRF/GRF$ 中的（空间）齐次性做了如下解释：
$(a)$　MRF中的齐次性： $P(f_{i}|f_{\mathcal{N}_{i}})$ 与 $i$ 在 $\mathcal S$ 中的相对位置无关
　　如果都采用相同的邻域系统，位置 $j\ (j\neq i)$ 的邻域 $\mathcal{N}_{j}$ 应该和位置 $i$ 的邻域 $\mathcal{N}_{i}$ 的结构是一样的，那么就有 $P(f_{j}|f_{\mathcal{N}_{j}})=P(f_{i}|f_{\mathcal{N}_{i}})$，也就是说 $P(f_{i}|f_{\mathcal{N}_{i}})$ 的计算与 $i$ 在 $\mathcal S$ 中的具体位置无关，只要满足位置 $i\in\mathcal S$ 对应的 $\mathcal{N}_{i}$ 的结构一致
　
$(b)$　GRF中的齐次性： $V_{c}(\boldsymbol f)$ 与子团 $c$ 的相对位置无关
　　以 $pair\ sites$ 子团 $\mathcal C_{2}$ 为例，假设位置 $i,i^{'},j,j^{'}\in \mathcal S$，如果 $\{i,i^{'}\}$ 与 $\{j,j^{'}\}$ 以相同的结构形成子团 $c_{i}=\{i,i^{'}\},c_{j}=\{j,j^{'}\},c_{i},c_{j}\in\mathcal C_{2}$，那么这两个子团的能量函数 $V_{c_{i}}(f_{i},f_{i^{'}}),V_{c_{j}}(f_{j},f_{j^{'}})$ 可以用一个通式 $V_{2}(f_{i},f_{i^{'}}),V_{2}(f_{j},f_{j^{'}})$ 来表示
　
　　即： $\sum\limits_{c\in \mathcal C_{2}}V_{c}(\boldsymbol f)=\sum\limits_{\{i,j\}\in \mathcal C_{2}}V_{2}(f_{i},f_{j})$

$\qquad$因此，齐次 $(homogeneous)Gibbs$分布的能量函数可以表示为

$\qquad\qquad U(\boldsymbol f)=\displaystyle\sum_{\{i\}\in \mathcal C_{1}}V_{1}(f_{i})+\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}V_{2}(f_{i},f_{j})+\displaystyle\sum_{\{i,j,k\}\in \mathcal C_{3}}V_{3}(f_{i},f_{j},f_{k})+\cdots$

$\qquad$一种很重要的情形：仅考虑“ $single\ site$子团” $\mathcal C_{1}$ 和“ $pair\ sites$子团” $\mathcal C_{2}$ 的情况，此时的能量函数表示为

$\qquad\qquad\begin{aligned} U(\boldsymbol f)&=\displaystyle\sum_{\{i\}\in \mathcal C_{1}}V_{1}(f_{i})+\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}V_{2}(f_{i},f_{j}) \\ &=\displaystyle\sum_{i\in \mathcal S}V_{1}(f_{i})+\displaystyle\sum_{i\in \mathcal S}\displaystyle\sum_{j\in \mathcal{N}_{i}}V_{2}(f_{i},f_{j}) \\ \end{aligned}$　
$\qquad$
$\qquad$这时
$\qquad$
$\qquad\qquad\begin{aligned} P(f_{i}|\boldsymbol f_{\mathcal N_{i}})&=\dfrac{P(f_{i},\boldsymbol f_{\mathcal N_{i}})}{P(\boldsymbol f_{\mathcal N_{i}})} \\ &=\dfrac{P(f_{i},\boldsymbol f_{\mathcal N_{i}})}{\sum_{f_i^{'}\in\mathcal L}P(f_i^{'},\boldsymbol f_{\mathcal N_{i}})} \qquad分子:F_i=f_i ,分母:F_i=f_i^{'} \\ &=\dfrac{e^{-\left[ V_{1}(f_{i})+\sum_{j\in \mathcal N_{i}}V_{2}(f_{i},f_{j})\right]}}{\sum_{f_i^{'}\in\mathcal L}e^{-\left[ V_{1}(f_i^{'})+\sum_{j\in \mathcal N_{i}}V_{2}(f_{i},f_{j})\right]}} \\ \end{aligned}$　
$\qquad$

3.4 Markov与Gibbs的等价性

• $Markov$随机场的特点在于考虑了位置集 $\mathcal S$ 的局部特性，提供了随机场的条件分布（条件分布满足马尔科夫性），实现起来比较困难；
• $Gibbs$随机场的特点在于考虑了位置集 $\mathcal S$ 的全局特性，提供了随机场的联合分布（ $\mathcal S$ 上的随机场 $\boldsymbol F$ 的每个配置 $\boldsymbol f$ 服从 $Gibbs$ 分布），可以借助空间上的邻域系统来实现（选择不同的子团类型和对应的能量函数形式，可以产生不同形式的GRF）。

$\qquad Hammersley-Clifford$ 定理建立了 $MRF$ 和 $GRF$ 之间的一一对应关系：如果随机场 $\boldsymbol F$ 具有局部 $Markov$ 性，那么随机场 $\boldsymbol F$ 具有 $Gibbs$ 分布；反之，如果随机场 $\boldsymbol F$ 具有 $Gibbs$ 分布。

$\qquad$假设 $P(\boldsymbol f)$ 是位置集 $\mathcal S$ 上的关于邻域系统 $\mathcal N$ 的Gibbs分布，那么
$\qquad$
$\qquad\qquad$ $\begin{aligned} P(f_{i}|\boldsymbol f_{\mathcal{S}-\{i\}})&=\dfrac{P(f_{i},\boldsymbol f_{\mathcal{S}-\{i\}})}{P(\boldsymbol f_{\mathcal{S}-\{i\}})} \qquad\ \ \ , \ \ 记\ (\boldsymbol F=\boldsymbol f)=(F_i=f_{i},\boldsymbol f_{\mathcal{S}-\{i\}}) \\ &=\dfrac{P(\boldsymbol f)}{\sum_{f_i^{'}\in\mathcal L}P(f_{i}^{'},\boldsymbol f_{\mathcal{S}-\{i\}})}, \ \ 记 \ f_{i}^{'}\ 为\ \mathcal L\ 中某个值,F_i\ 的取值为\ f_{i}^{'} \\ &=\dfrac{P(\boldsymbol f)}{\sum_{f_i^{'}\in\mathcal L}P(\boldsymbol f^{'})}\qquad\ \ \ \ , \ \ 记\ (\boldsymbol F=\boldsymbol f^{'})=(F_i=f_{i}^{'},\boldsymbol f_{\mathcal{S}-\{i\}}) \\ &=\dfrac{e^{-\sum_{c\in \mathcal C}V_{c}(\boldsymbol f)}}{\sum_{f_i^{'}\in\mathcal L} e^{-\sum_{c\in \mathcal C}V_{c}(\boldsymbol f^{'})}} \\ &=\dfrac{e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f)}\cdot e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f)}}{\sum_{f_i^{'}\in\mathcal L} \left[e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f^{'})}\cdot e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f^{'})}\right]}\\ \end{aligned}$

$\qquad$其中， $\mathcal A$ 为包含位置 $i$ 的所有子团， $\mathcal B$ 为不包含位置 $i$ 的所有子团，显然分母中的 $e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f^{'})}$ 与随机变量 $F_{i}=f_{i}^{'}$ 的取值无关，可以放到 $\sum_{f_i^{'}\in\mathcal L}$ 的外面。

$\qquad$因此，可得到：

$\qquad\qquad$ $\begin{aligned} P(f_{i}|\boldsymbol f_{\mathcal{S}-\{i\}}) &=\dfrac{e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f)}\cdot e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f)}}{\sum_{f_i^{'}\in\mathcal L} \left[e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f^{'})}\cdot e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f^{'})}\right]}\\ &=\dfrac{e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f)}\cdot e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f)}}{e^{-\sum_{c\in \mathcal B}V_{c}(\boldsymbol f^{'})}\cdot\sum_{f_i^{'}\in\mathcal L} \left[e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f^{'})} \right]}\\ &=\dfrac{e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f)}}{\sum_{f_i^{'}\in\mathcal L} e^{-\sum_{c\in \mathcal A}V_{c}(\boldsymbol f^{'})}}\\ \end{aligned}$

$\qquad$这就说明 $P(f_{i}|\boldsymbol f_{\mathcal{S}-\{i\}})$ 只和包含位置 $i$ 的所有子团的势能有关，对于满足 $c\in\mathcal B$ 的子团，实际上就是3.3节中的 $P(f_{i}|\boldsymbol f_{\mathcal N_{i}})$。这说明了，在定义了邻域系统 $\mathcal N$ 的情况下， $GRF$ 和 $MRF$ 是等价的。
$\qquad$

4 图像的MRF建模

4.1 图像随机场

$\qquad$将一幅 $N\times M$ 大小的灰度图像建模为随机场：

$\qquad(1)$ 假设图像大小为 $N\times M$，位置集 $(site\ set)$ 按照图像扫描顺序排列
$\qquad$　　即： $\mathcal S=\{0,1,\cdots,m\times M+n,\cdots,N\times M\}$，位置集中的 $m\times M+n$ 表示图像中 $(m,n)$ 位置处的像素

$\qquad(2)$ 只考虑灰度图像时，标签集 $(label\ set)$ 为 $\mathcal L=\{0,1,\cdots,255\}$

$\qquad(3)$ 在位置集 $\mathcal S$ 上定义一族随机变量 $F_{i}$ 组成了图像随机场 $\boldsymbol F=\{F_{1},\cdots,F_{i},\cdots,F_{N\times M}\}\ ,\ i\in\mathcal S$

$\qquad(4)$ 随机场 $\boldsymbol F$ 的一种配置 $(\boldsymbol F=\boldsymbol f)$ 表示 $(F_{1}=f_{1},\cdots,F_{i}=f_{i},\cdots,F_{N\times M}=f_{N\times M})\ ,\ f_{i}\in\mathcal L$

$\qquad$　　我们观测到了图像 $\boldsymbol y=\{y_{1},\cdots,y_{i},\cdots,y_{N\times M}\}$，观测图像 $\boldsymbol y$ 也对应了随机场 $\boldsymbol F$ 的一种配置或一次实现，即： $(\boldsymbol F=\boldsymbol y)=(F_{1}=y_{1},\cdots,F_{i}=y_{i},\cdots,F_{N\times M}=y_{N\times M})$
$\qquad$

4.2 图像退化的似然描述

$\qquad$假设我们观测到了一幅退化的(有噪声的)图像 $\boldsymbol y$，原始图像为 $\boldsymbol f$。对于该图像的第 $i$ 个像素，满足 $y_{i}= \varphi( f_{i})+\varepsilon_{i}$，例如高斯噪声为 $\varepsilon_{i}\sim\mathcal N(0,\sigma^{2}_{i}),\ i\in\mathcal S$。

$\qquad$考虑图像的退化模型 $P(\boldsymbol y|\boldsymbol f)$，一般我们假设“退化过程关于不同位置的像素值是相互独立的”，也就是：

$\qquad\qquad P(\boldsymbol y|\boldsymbol f)=\displaystyle\prod_{i\in\mathcal S} P(y_{i}|f_{i})=\displaystyle\prod_{i=1}^{N\times M} P(y_{i}|f_{i})$

$\qquad$上式可以认为是“图像退化的似然描述”，因为观测图像 $\boldsymbol y$ 是已知的、固定不变的，概率值 $P(\boldsymbol y|\boldsymbol f)$ 对于 $\boldsymbol f$ 的变动来说，可以称为“似然”。

可参考《数字图像处理(王桥)》§7.1 (P159) 和 §7.3.4 (P170)
对比关于观测数据集 $\mathcal D=\{x_1,x_2,\cdots,x_N\}$ 的似然函数 $p(\mathcal D|\theta)=p(x_1,x_2,\cdots,x_N|\theta)$，这里的“似然”是指概率值 $p(\mathcal D|\theta)$ 的大小对于参数 $\theta$ 的变动而言，可参考《正态分布的最大似然估计》。

$\qquad$例如，高斯似然模型 $\varepsilon_{i}\sim\mathcal N(0,\sigma^{2}_{i})$，退化模型为 $P(y_{i}|f_{i})= \dfrac{1}{\sqrt{2\pi}\sigma_i}e^{-\frac{[\varphi( f_{i})-y_i]^2}{2\sigma_i^2}}$，可得到

$\qquad\qquad$ $\begin{aligned}P(\boldsymbol y|\boldsymbol f)&=\prod_{i\in\mathcal S} P(y_{i}|f_{i})\\ &= \dfrac{1}{\prod_{i=1}^{N\times M}\sqrt{2\pi\sigma_i^2}}e^{-U(\boldsymbol f)},\ \ \ 其中U(\boldsymbol f)=\sum_{i\in\mathcal S}\dfrac{[\varphi( f_{i})-y_i]^2}{2\sigma_i^2} \\ \end{aligned}$
$\qquad$

4.3 MAP-MRF模型

$\qquad$通过建立图像的随机场模型、以及对图像退化过程进行似然描述，就可以获得对图像的概率描述。有了这些概率工具，就可以去考虑“通过观测图像估计真实图像”之类的估计问题，最常用的框架就是最大后验估计 $(Maximum\ A\ Posteriori,\ MAP)$。

$\qquad(1)$ 从概率的角度来看，要从一幅包含噪声的观测图像中恢复原始图像，就是要得到随机场 $\boldsymbol F$ 的某一种配置 $(\boldsymbol F=\boldsymbol f)$，该配置的概率值最大。

$\qquad\qquad$在MAP-MRF框架中图像真实值 $\bold x$ 的最佳估计 $\hat\bold x$： $\hat\bold x=\argmax_{\boldsymbol f} P(\boldsymbol f|\boldsymbol y)$
$\qquad\qquad$也就是，在已知观测值 $\boldsymbol y$ 的条件下、具有最大后验概率时的配置 $\boldsymbol f$ 作为原始图像的估计
$\qquad$
$\qquad(2)$ 贝叶斯推理：

$\qquad\qquad\qquad$ $P(\boldsymbol f|\boldsymbol y)=\dfrac{P(\boldsymbol y|\boldsymbol f)P(\boldsymbol f)}{P(\boldsymbol y)}\propto P(\boldsymbol y|\boldsymbol f)P(\boldsymbol f)$

$\qquad\qquad$其中， $P(\boldsymbol f)$ 是可能的原始图像 $\boldsymbol f$的先验概率， $P(\boldsymbol y|\boldsymbol f)=\displaystyle\prod_{i=1}^{N\times M} P(y_{i}|f_{i})$是图像退化的似然模型

$\qquad\qquad$　　　条件概率值 $P(\boldsymbol y|\boldsymbol f)$ 表示可能的原始图像 $\boldsymbol f$ 退化为观测图像 $\boldsymbol y$ 的似然值（可能性）

$\qquad(3)$ 图像的MAP-MRF框架就为：

$\qquad\qquad\qquad$ $\begin{aligned}\hat\boldsymbol f&=\argmax_{\boldsymbol f} P(\boldsymbol f|\boldsymbol y)\\ &=\argmax_{\boldsymbol f}\{ \ln P(\boldsymbol y|\boldsymbol f)+\ln P(\boldsymbol f)\} \\ \end{aligned}$

$\qquad\qquad$如果 $P(\boldsymbol f)$ 服从均匀分布，最大后验估计就等价于最大似然估计

$\qquad$因此，图像的 $MRF$模型就是根据实际需要，选择合适的退化模型 $P(\boldsymbol y|\boldsymbol f)$ 和图像先验模型 $P(\boldsymbol f)$ 来进行贝叶斯推理。
$\qquad$

5. 图像分类的例子

$\qquad$对于 $N\times M$ 灰度图像的随机场建模如4.1节所描述，位置集 $\mathcal S=\{0,1,\cdots,N\times M\}$。对于图像分类问题（图像分割），标签集 $\mathcal L=\{1,\cdots,M\}$，其中 $M$ 表示类别数。

$\qquad$退化模型：假设图像退化的似然模型 $P(\boldsymbol y|\boldsymbol f)$ 为高斯型：

$\qquad\qquad$ $P(y_{i}|f_{i})= \dfrac{1}{\sqrt{2\pi}\sigma_{f_i}}\exp\left[-\dfrac{(y_i-f_i)^2}{2\sigma_{f_i}^2}\right],\ \forall\ i\in\mathcal S$

$\qquad$此时， $f_{i}\in\{1,\cdots,M\}$ 表示类别的索引，而 $\sigma_{f_i}^2$ 表示第 $f_{i}$ 类的方差。

$\qquad$先验模型：在MAP-MRF框架中，图像先验模型 $P(\boldsymbol f)$ 采用 $Gibbs$分布：

$\qquad\qquad$ $P(\boldsymbol f)=\dfrac{e^{-\frac{1}{T}U(\boldsymbol f)}}{Z}$

$\qquad$在图像分类问题中，只考虑 $pair\ sites$子团。考虑图1中的 $r=1$ 邻域系统，其子团类型为图2中 $(b),(c)$ 两种结构， $pair\ sites$子团的能量函数可定义为：

$\qquad\qquad$ $V_{2}(f_{i},f_{j})=\beta\gamma(f_{i},f_{j}),\qquad \gamma(f_{i},f_{j})=\left\{ \begin{matrix} -1&,\ f_i=f_j\\ \\+1&,\ f_i \neq f_j \end{matrix}\right.,\qquad \forall\ i,j\in\mathcal S$

$\qquad$也就是说，在某个恒定温度时，当两个位置的像素值相等时，子团势能降低，能量函数也降低，从而使得 $P(\boldsymbol f)$ 的概率越来越大。

图中为二分类的结果，除了边界处的子团会增加总能量之外，其他平坦区域的子团均会使得总能量值下降。
以图中的二值分割为例， $V_{2}(f_{i},f_{j})=\beta\gamma(f_{i},f_{j})$ 实际上表示的是边界的长度。
显然，边界越长（不可能整幅图像都是边界），能量函数值越大，这种情况出现的概率就越低。

$\qquad$齐次 $Gibbs$分布的能量函数就为： $U(\boldsymbol f)=\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}V_{2}(f_{i},f_{j})=\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}\beta\gamma(f_{i},f_{j})$

$\qquad$因此，图像分类就建模为一个最优化问题：

$\qquad\qquad$ $\begin{aligned}\hat\boldsymbol f&=\argmax_{\boldsymbol f} P(\boldsymbol f|\boldsymbol y)\\ &=\argmax_{\boldsymbol f}\{ \ln P(\boldsymbol y|\boldsymbol f)+\ln P(\boldsymbol f)\} \\ &=\argmax_{\boldsymbol f}\left\{-\displaystyle\sum_{i=1}^{N\times M}\left(\ln\sqrt{2\pi}\sigma_{f_i}+\dfrac{(y_i-f_i)^2}{2\sigma_{f_i}^2}\right)-\dfrac{1}{T}\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}\beta\gamma(f_{i},f_{j})\right\} \\ &=\argmin_{\boldsymbol f}\left\{\displaystyle\sum_{i=1}^{N\times M}\left(\ln\sqrt{2\pi}\sigma_{f_i}+\dfrac{(y_i-f_i)^2}{2\sigma_{f_i}^2}\right)+\dfrac{1}{T}\displaystyle\sum_{\{i,j\}\in \mathcal C_{2}}\beta\gamma(f_{i},f_{j})\right\} \\ \end{aligned}$

$\qquad$对该优化模型的求解，可采用 $ICM$， $Gibbs$采样， $Metropolis$采样等随机优化方法。