马尔可夫过程简述 - A Brief Tutorial of Markov Process

本文主要介绍一下马尔可夫随机过程的概念及特性。

随机过程

概念

设 $(\Omega, \mathcal{F}, P)$ 是概率空间，$T$ 是给定的参数集，对于每个 $t\in T$ ，有一个随机变量 $X(t,e)$ 与之对应，则称随机变量族 $\{X(t,e), t\in T\}$ 是 $(\Omega, \mathcal{F}, P)$ 上的随机过程，简记为 $\{X(t),t\in T \}$。 $T$ 称为参数集，通常表示时间。

我们可以将 $X(t)$ 理解为系统在时刻 $t$ 所处的状态， $X(t)$ 的所有可能状态构成的集合称为状态空间或相空间， 记为 $I$。

从数学的观点来说，随机过程 $\{X(t,e), t\in T\}$ 是定义在 $T\times \Omega$ 上的二元函数，对固定的 $t$， $X(t,e)$ 是 $(\Omega, \mathcal{F}, P)$ 上的随机变量；对固定的 $e$，$X(t,e)$ 是定义在 $T$ 上的普通函数，称为随机过程 $\{X(t,e), t\in T\}$ 的一个样本函数或轨道，样本函数的全体称为样本函数空间。

分布律

设 $\{X(t),t\in T\}$ 是随机过程，对任意 $n\geq 1$ 和 $t_{1},t_{2},\dots,t_{n}\in T$，随机向量 $(X(t_{1}), X(t_{2}),\dots,X(t_{n}))$ 的联合分布函数为

$$F_{t_{1},t_{2},\dots,t_{n}}(x_{1},x_{2},\dots, x_{n})=P\{X(t_{1})\leq x_{1}, X(t_{2})\leq x_{2},\dots,X(t_{n})\leq x_{n}\}$$ 这些分布函数的全体
$$\mathbb{F}=\{F_{t_{1},t_{2},\dots,t_{n}}(x_{1},x_{2},\dots, x_{n}): t_{1},t_{2},\dots,t_{n}\in T, n\geq 1 \}$$ 称为 $X_{T}=\{X_{t}, t\in T\}$ 的 有限维分布函数族。

随机过程$X_{T}=\{X_{t}, t\in T\}$ 的有限维分布函数族分布函数族具有如下性质：

1. 对称性：对于 $\{1,2,\dots,n\}$ 的任意排列 $\{i_{1},i_{2},\dots,i_{n}\}$， $$F_{t_{1},t_{2},\dots,t_{n}}(x_{1},x_{2},\dots,x_{n})=F_{t_{i_{1}},t_{i_{2}},\dots t_{i_{n}}}(x_{i_{1}},x_{i_{2}},\dots,x_{i_{n}})$$
2. 相容性：当 $m<n$ 时， $$F_{t_{1},t_{2},\dots,t_{m}}(x_{1},x_{2},\dots,x_{m})=F_{t_{1},t_{2},\dots,t_{m},\dots,t_{n}}(x_{1},x_{2},\dots,x_{m},\infty,\dots,\infty)$$

柯尔莫哥洛夫（Kolmogorov）存在定理：
设参数 $T$ 给定，若分布函数族 $F$ 满足对称性和相容性条件，则必存在概率空间 $(\Omega, \mathcal{F}, P)$ 及在其上定义的随机过程 $\{X(t), t\in T\}$，它的有限维分布函数族是 $\mathbb{F}$。

数字特征

设 $X_{T}=\{X(t),t\in T\}$ 是随机过程，如果任意 $t\in T$，$EX(t)$ 存在，则称函数

扫描二维码关注公众号，回复： 1524054 查看本文章

$$m_{X}(t)=EX(t)$$ 为 $X_{T}$ 的 均值函数。
若对任意 $t\in T$， $E(X(t))^{2}$ 存在，则称 $X_{T}$ 为 二阶矩过程，而称
$$B_{X}(s,t)=E[\{X(s)-m_{X}(s)\}\{X(t)-m_{X}(t)\}],\quad s,t\in T$$ 为 $X_{T}$ 的 协方差函数，
$$D_{X}(t)=B_{X}(t,t)=E[X(t)-m_{X}(t)]^{2},\quad t\in T$$ 为 $X_{T}$ 的 方差函数,
$$R_{X}(s,t)=E[X(s)X(t)],\quad s,t\in T$$ 为 $X_{T}$ 的 相关函数。

马尔可夫过程

马尔可夫过程按照其状态和时间参数是连续的或离散的，可分为三类：

1. 时间、状态都是离散的马尔可夫过程，称为马尔可夫链。
2. 时间连续、状态离散的马尔可夫过程，称为连续时间马尔可夫链。
3. 时间、状态都是连续的马尔可夫过程。

本文中我们仅介绍马尔可夫链。

马尔可夫链

若随机过程 $\{X_{n}, n\in T\}$ 对于任意的非负整数 $n\in T$ 和任意的 $i_{0},i_{1},\dots,i_{n-1}\in I$，其条件概率满足：

$$P\{X_{n+1}=i_{n+1} | X_{0}=i_{0}, X_{1}=i_{1},\dots, X_{n}=i_{n}\}=P\{X_{n+1}=i_{n+1} | X_{n}=i_{n}\}$$ 则称 $\{X_{n}, n\in T\}$ 为 马尔可夫链。

可见，马尔可夫链的统计特征完全由条件概率

$$P\{X_{n+1}=i_{n+1} | X_{n}=i_{n}\}$$ 所决定。

转移概率

条件概率相当于游走的质点在时刻 $n$ 处于状态 $i$ 的条件下，下一步转移到状态 $j$ 的概率。记此条件概率为 $p_{ij}(n)$ ，其严格定义如下：
称条件概率

$$p_{ij}(n)=P\{X_{n+1}=j| X_{n}=i\}$$ 为马尔可夫链 $\{X_{n}, n\in T\}$ 在时刻 $n$ 的 一步转移概率，其中 $i,j\in I$。当 $p_{ij}(n)$ 不依赖于时刻 $n$ 时，表示马尔可夫链具有 平稳转移概率。若对于任意 $i,j\in I$ 马尔可夫链 $\{X_{n}, n\in T\}$ 的转移概率 $p_{ij}(n)$ 与 $n$ 无关， 则称马尔可夫链 $\{X_{n}, n\in T\}$ 是 齐次的，并记 $p_{ij}(n)$ 为 $p_{ij}$ 。

下面我们仅讨论齐次马尔可夫链。设 $\mathbb{P}$ 为一步转移概率 $p_{ij}$ 所组成的矩阵，且状态空间 $I=\{1,2,\dots\}$ ，称

$$P=\begin{pmatrix}p_{11} & p_{12} & \cdots & p_{1n} & \cdots\\ p_{21} & p_{22} & \cdots & p_{2n} & \cdots \\ \cdots & \cdots & \cdots & \cdots & \cdots \end{pmatrix}$$ 为系统的 状态转移概率矩阵，它具有如下性质：

1. $p_{ij}\geq 0,\quad i,j\in I$
2. $\sum_{j\in I}p_{ij}=1,\quad i\in I$

可见转移概率矩阵中任一行元素之和为1。通常满足上述性质的矩阵为随机矩阵。

称条件概率：

$$p_{ij}^{(n)}=P\{X_{m+n}=j | X_{m}=i \},\quad i,j\in I, m\geq 0, n\geq 1$$ 为马尔可夫链 $\{X_{n}, n\in T\}$ 的 $n$ 步转移概率，并称：
$$P^{(n)}=(p_{ij}^{(n)})$$ 为马尔可夫链 $\{X_{n}, n\in T\}$ 的 $n$步转移矩阵，其中 $p_{ij}^{(n)}\geq 0,\sum_{j\in I}p_{ij}^{(n)}=1$，即 $P^{(n)}$ 也是随机矩阵。我们规定：
$$p_{ij}^{(0)}=\left\{\begin{aligned} 0,\quad i\neq j\\ 1,\quad i=j \end{aligned}\right.$$ 对任意整数 $n\geq0,0\leq l<n$ 以及 $i,j\in I$， $n$ 步转移概率 $p_{ij}^{(n)}$具有下列性质：

1. $p_{ij}^{(n)}=\sum_{k\in I}p_{ik}^{(l)}p_{kj}^{(n-l)}$
2. $p_{ij}^{(n)}=\sum_{k_{1}\in I}\cdots\sum_{k_{n-1}\in I}p_{ik_{1}}p_{k_{1}k_{2}}\cdots p_{k_{n-1}j}$
3. $P^{(n)}=PP^{(n-1)}$
4. $P^{(n)}=P^{n}$

其中 1 式被称为切普曼-柯尔莫哥洛夫方程，简称C-K方程。

定理：设 $\{X_{n}, n\in T\}$ 为马尔可夫链，则对任意 $i_{1},\dots,i_{n}\in I$ 和 $n\geq 1$，有：

$$P\{X_{1}=i_{1},\cdots, X_{n}=i_{n} \}=\sum_{i\in I}p_{i}p_{ii_{1}}\cdots p_{i_{n-1}i_{n}}$$