瞬时概率
瞬时概率矩阵
结论，给定0时刻的瞬时概率，可以得到n时刻的瞬时概率。
从上面对瞬时概率的定义，我们可以得到:
这个公式描述了，任一时刻的瞬时概率矩阵可以用前一时刻的瞬时概率矩阵乘以一步转移概率矩阵求得。经过上面的栗子，我们已经可以通过对一个满足Markov分布的事件（无记忆的）进行状态转移图建模，还可以得出它的一步状态转移矩阵，还可以知道任一时刻各自状态发生的瞬时概率矩阵，已经很精确了唉。不过在实际分析中，把每个时刻的瞬时概率矩阵计算出来也未免太麻烦了，更何况当要分析的时间段非常长时。比如实际某个地区天气状态的分析，不可能就分析昨天今天明天的天气就草草了事了，要分析的时间段应该长达几个月甚至几年，这样可能得出统计意义上的这个地区的天气常态。这种统计意义上的瞬时概率矩阵的“常态”，可以用瞬时概率矩阵取极限时收敛到某一矩阵时的稳态值表示。这个值就是瞬时概率矩阵的稳态分布值。
瞬时概率矩阵的稳态分布
当时间独立的瞬时概率分布在取极限后收敛于某个值（其实是个行向量）时：
就得到了稳态分布：即不管乘多少转移矩阵，瞬时概率都是“稳态的”。
稳态分布存在的条件
不是所有Markov链都是收敛的，正如不是所有随机过程都是Markov过程一样。可以收敛的Markov链，或者说存在稳态分布的Markov链或者Markov过程需要满足怎样的条件呢？
Irreducible Markov链（即不可约性）
这个单词翻译过来很奇怪，不可约？实际上它的意思是让Markov链的所有状态都可以相互转移，即它们可以相互转移的多步转移概率是大于0的。至于问什么可以作为稳态分布存在的条件我现在有小许懵。记住就行了。
Aperiodic Markov链（即非周期性）
这个就很好理解了，如果是周期的Markov链时，稳态是肯定不会出现的嘛，加入定义一个稳态pi，但由于它是周期的，那么它的下一个状态会周期性的改变，就不能“稳定”了。比如，一个周期变换的状态，转移概率有这样的性质：
所以非周期的Markov链，是没有任何一个状态是周期的。
判定稳态分布存在的定理
除了上面两个条件，判定稳态分布存在的一个充分条件需要Markov链满足四个性质：
- 不可约性（Irreducible）
- 非周期性（Aperiodic）
- 时间均匀性（Homogeneous）
- 有限状态（Finite States）
这个是一条定理：满足上面这四个条件的Markov链一定具有稳态分布，存在且唯一。而其他不满足上面条件的情况，只能按照定义计算一下，看看能不能求出稳态分布了。