Notes 4-Markov Chain- computing methods of stationary distribution

稳态分布的计算

对于有限状态数量的稳态分布计算

Method 1：

将系统状态矩阵代入稳态分布的公式中，

解方程即可：

Method 2：

对于较少状态数量，直接计算转移概率矩阵的极限，如果收敛于一个矩阵的话，那么里面的每一行都是稳态分布。

对于《“缺心眼”教授》的栗子，我们可以用上面这两种方法来求出，这位教授在统计意义上会被淋湿的概率，其实也就是下雨但是没有伞的概率。

我们可以先Method 1求出这个问题的稳态分布：

那么稳态分布的第一项就是统计意义上没有伞的概率，再乘上下雨的概率p就是这位教授要被淋湿的概率。

如果要用Method 2来计算的话，我们得先知道p的值，代入到一步转移概率矩阵再计算出多步转移概率矩阵的值。假设p=0.1。那么

这个极限收敛矩阵的每一行都是稳态分布，我们可以用Method 1 的结果来验证一下：

对于无限状态数量的稳态分布计算

因为状态数量无限时，就不可能用解方程组或者求极限的当时来算稳态分布了。这个时候，就像高数里面推导等比数列通项公式一样，我们可以从状态转移图里面发现一些“规律”来通用的表示某些时刻的瞬时概率。这些规律就是全局守恒方程和特定守恒方程。

全局守恒方程（GBE:Global Balance Equations）

公式一：

如果把状态j的瞬时概率乘上流出j到状态i的概率转移矩阵描述为从状态j到状态i的转移频率，这个公式左边表示所有从状态j流出的频率之和，右边表示所有流入到状态j的频率之和，就像能量守恒那样可以表示所有状态流入流出的状态，所有这个方程叫全局守恒方程。

公式二：

如果把状态转移图中的一部分连在一起的状态组成一个一个集合S，那么所有流入这个集合的频率等于流出这个集合的频率。

特定守恒方程（DBE:Detailed Balance Equations）

生死链（Birth-Death Chain）

对于一个一维的Markov链，一个状态只能向相邻状态进行转移，这意味着：

这种Markov链就叫做生死链，如果第n的状态不能向第n+1个状态转移，那么只能向第n-1个状态转移，非生即死，所以被形象的称为“生死链”。

对于“生死链”来说，全局守恒方程就变成了特定守恒方程：

可以通过GBE的公式二来证明，懒得写了。

这篇文章大部分来源是我们老师的课件，整理之后笔记加感悟串了一遍。这个课件内容还蛮多的，有很多用Markov链以及它稳态分布计算的实例再下篇文章整理了。