Markov

马尔可夫过程

人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X₀,X₁,X₂,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{X_n，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链 　以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n₁<<I>n₂<…<<I>n_ln>0,i₁,i₂,…，i_l，i,j∈E，有

只要其中条件概率（见 概率）有意义。一般地，设 E={0，1,…,M}(M为正整数)或 E={0,1,2,…}, X _n， n≥0为取值于 E的随机变量序列,如果(1)式成立，则称{ X, n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从 i出发经 n步转移到 j的概率,称为转移概率。对于马尔可夫链，人们最关心的是它的转移的概率规律,而 n步转移矩阵 正好描述了链的 n步转移规律。由于从 i出发经 n+m步转移到 j必然是从 i出发先经 n步转移到某个 k,然后再从 k出发(与过去无关地)经m步再转移到 j，因此有

这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵 P来刻画。 P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0<<I>p<1， q=1- p，则M阶方阵

为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的 i，则它以概率 p转移到 i+1,以概率 q转移到 i-1。又如果把 P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当 时，称为对称随机游动。
为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若 p _ij>0，则称 i可以直达 j，记作 i→ j,如还有 p _ji>0，则记作 i凮 j，采用这样的记号，可以用图形表示运动的进程。例如图形

表示一个马尔可夫链的运动情况,当链处于 b ₁, b ₂, b ₃状态时，将永远在{ b ₁, b ₂, b ₃}中运动,当链处于 α ₁, α ₂, α ₃, α ₄状态时，将永远在{ α ₁, α ₂, α ₃, α ₄}中运动,而{ d ₁, d ₂,…}不具有这种性质,因为从 d ₁可一步转移到 b ₁或 d ₂,自 d ₃可到 α ₁或 d ₄，等等。对一般的马尔可夫链，若 C是由一些状态组成的集合，如果链一旦转移到 C中的状态,它将永远在 C 中转移， C 就称为这个链的闭集。对闭集 C，如果从 C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称 C为不可约闭集，例如上例中的{ b ₁, b ₂， b ₃}。至于{ b ₁, b ₂, b ₃,с ₁,c ₂}虽然也是闭集,但却是可约的。如果从状态 i出发经有限次转移后回到 i的概率为1，则称 i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E ₀（如上例中的{ d ₁, d ₂,…}）和一些由常返状态组成的不可约闭集 Eα（如上例中的 { b ₁, b ₂, b ₃},{ α ₁， α ₂, α ₃, α ₄},{с ₁,c ₂}）的并。这样，在链的转移中，它或者总是在 E ₀中转移，或者转移到某个常返类 Eα中,一旦转移到 Eα，它将永远在 Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限 存在,其中0≤ r<<I>t， t是 0)的最大公约数，即链的周期,与 j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在 E ₀中转移的情况。它的主要思想是在链的状态空间 E 中引进距离并将 E 完备化，使得在这个距离下， X _n 以概率1收敛（见 概率论中的收敛）。
　　连续时间马尔可夫链 　设 E是{0,1,…,M}或{0,1,2，…},{ X, t≥0}是一族取值于 E的随机变量,如果在(1)式中, 将 n ₁, n ₂,…,m, n理解为实数,(1)式仍成立,则称{ X _t， t≥0}为连续时间马尔可夫链。若 还与 s≥0无关，记为 p _ij( t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵 P( t)=( p _ij( t))( i, j∈ E, t>0)所刻画。 P( t)满足下述条件：① p _ij( t)≥0， ；②柯尔莫哥洛夫-查普曼方程 ；通常假定：③标准性 这里δ _ii=1,δ _ij=0( i≠ j)。有时直接称满足①、②、③的一族矩阵 P( t)=( p _ij( t))， t≥0为转移矩阵或马尔可夫链。当①中条件放宽为 时,称为广转移矩阵,它有很好的解析性质。例如,每个 p _ij( t)在 t>0时具有连续的有穷导数 P拞( t)；在 t＝0，右导数 P拞(0)存在, i≠ j时 P拞(0)非负有穷,但 P拞(0)可能为无穷。矩阵 Q =( q _ij)呏( P拞(0))称为链的密度矩阵，又称 Q矩阵。对于每个齐次马尔可夫链{ X, t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{ X慫, t≥0}（即对一切 t≥0， P( X慫≠ X _t)=0, 且对每个轨道对一切 t≥0有 ），而且以概率1，对任意 t≥0, s从大于 t的一侧趋于 t时, X 最多只有一个有穷的极限点。
以 Q为密度矩阵的广转移矩阵称为 Q广转移矩阵或 Q过程。在一定条件下， Q广转移矩阵 P( t), t≥0满足向后微分方程组

或者向前微分方程组

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是 Q矩阵问题或构造问题:给定一个矩阵 Q =( q _ij),满足0 q _ij＜+∞( i≠ j), ，是否存在 Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的 Q广转移矩阵？对于 q _ii都有限的情形，W.费勒于1940年构造了一个最小解 p ( t),证明了 Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于 q _ii都有限的情形找到了 Q 广转移矩阵的惟一性准则；至于求出全部 Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于 Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。
生灭过程  考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻 t群体有 i个成员，在很短的时间间隔( t， t+Δ t)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当 i>0时）一个或保持不变。而增加一个的概率为 ，减少一个的概率为 ，保持不变的概率为 。( p _ij( t))的密度矩阵是

式中 α ₀≥0, b ₀>0，对一切 i>0, α _i>0, b _i>0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当 α ₀=0, b ₀>0时，只有一个生灭过程的充分必要条件是 。对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对 α ₀≥0， b ₀>0的情形,或更一般的双边生灭 Q矩阵（即 为一切整数）的情形,全部 Q广转移矩阵也都已构造出来。
　　一般马尔可夫过程 　设( E，B)为可测空间， X={ X， t≥0}为一族取值于 E的随机变量,如果对任意的 B，以概率1有 　　　
(2)则称 X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由 , X _s所产生的 σ域（见 概率）可以扩大为一般的 σ域F _s，只要F _s包含由｛ X, u≤ s｝产生的 σ域，而当 s<<I>t时， 。如果对任意 s≥0， t>0， A∈B，以概率1有

　(3)

则称随机过程 X={ X, t≥0}为马尔可夫过程。第二,可以允许过程有寿命 ζ，其中 ζ是停时（见 随机过程）。这时过程为 X={ X, t<<I>ζ}。上述定义仍保留，但应作相应的修改，如{ X∈ A _s∈ A, s<<I>ζ)，(3)应理解为在{ s<<I>ζ}上几乎处处成立。
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数 P( s, x, t, A)(0≤ s≤ t， x∈ E, A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻 s时处在 x，在时刻 t 时转移到 A中的条件概率。如果 P( s, x, t, A)= P( t- s, x, A)只依赖于 t- s, x及 A,则称转移函数及相应的马尔可夫过程为齐次的。设 E是 d维欧几里得空间 R ^d,B为 R ^d中的波莱尔域（见 概率分布）B ^d，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε>0， · 。式中 Vε( x)={ y:｜ y- x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程 X，以 p( t， x， A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。
强马尔可夫过程 　在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见 随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程 　历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数 P( s， x, t, A)，如果对任意ε>0，

　 (4)

(5)

　(6)

而且上述极限关于 x是一致的,则称此过程为一维扩散过程。粗略地说，这些条件刻画了：在很短时间Δ t内，位移也是很小的，对指定的正数ε>0，位移超过ε的概率和时间Δ t相比可以忽略不计；在偏离不超过 ε的范围内看，平均偏离与Δ t成正比，平均方差也与 Δ t成正比。称(5)中的 α( t, x)为偏移系数,它反映偏离的大小；称(6)中的 b( t, x)为扩散系数，它反映扩散的程度。
设转移函数具有密度函数 p( s, x, t, y),则在适当的附加条件下， p( s, x, t, y)满足方程

　　 (7)

　(8)

(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程，也称为福克尔－普朗克方程。如果转移函数是齐次的,则 α( s, x)= α( x), b( s, x)= b( x)与 s无关，且 p( t, x, y)满足

(9)

　(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一，因此还要对方程的解附加某些边界条件，以保持解的惟一性。例如，当α(t，x)=0，b(t，x)=2D (常数D>0)时的向前方程，附加边界条件=0的解是

这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数。又例如，当 α( t, x)=- βx( β> 0), b( t, x)=2 D >0时的向前方程 附加与上例同样的边界条件的解，是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。
50年代，费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间 E =【 r ₁, r ₂】的扩散过程，解决了在 r ₁和 r ₂ 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究，阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论。
多维扩散过程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题，但核心问题之一是多维扩散过程的存在性和惟一性问题；借助于偏微分方程和概率论方法已经得到一些结果。有趣的是，概率论得到的结果反过来也可以解决微分方程的求解问题，例如，可以把方程的解用一个马尔可夫过程表现出来。
近年来，人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸。
马尔可夫过程与位势理论 　在空间中给定一个向量场,如果存在一个函数 u使得它的负梯度就是给定的向量场，这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如，在空间 R ³的某物体 S 中给定了一个电荷分布 μ，那么空间点 x处的电位势为

一般地，对于空间 R ³中的测度 μ(通常假定具有支撑 S )，

称为测度 μ的牛顿位势。如果不计常数因子的差别，则 u可以用三维布朗运动的转移密度函数 p( t, x, y)表现出来：

如果假定 μ关于勒贝格测度有密度函数 ƒ,则 u还可以通过三维布朗运动{ X, t≥0}表现出来：

式中E _x表示对从 x出发的布朗运动取 数学期望。再以和位势理论紧密联系的狄利克雷问题为例，它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程。所谓拟左连续，即对任何停时序列τ _n↑τ，在(τ<+∞)上，以概率1有 。
马尔可夫过程的位势理论主要有三个问题：狄利克雷问题、扫问题和平衡问题。对于布朗运动，这三个问题都得到了很好的解决。

 

 

 

马尔可夫链模型（Markov Chain Model）