数模笔记_随机模型之马尔可夫链

Date: 2_25
Name: Guo Yehao
Theme: Markov Chain
Reference: 数学建模方法与分析(华章)

1. 首先总结一下随机到达现象(泊松过程)，分为连续型和离散型，对应了相邻两次到达之间的时间间隔和给定时间间隔内到达次数的讨论。

   • 连续型(指数分布)：常见的到达现象，比如顾客的到达、电话的呼叫、放射性衰变，相邻两次到达之间的时间，满足速率为λ的指数分布。为何称之为“速率”呢？因为我们知道一个量的期望和这个量是同量纲的，我们现在讨论的是时间，随机到达时间的期望是$\frac{1}{\lambda }$，它是是时间量纲，所以λ应该就是时间量纲的倒数，是速率的量纲。事实上，在实际中，λ这个从量纲分析出来的“速率”的概念，常常等价于问题中涉及到的速率(例如衰变的速率)，结合$\frac{1}{\lambda }$的形式，可以理解为λ表示单位时间内发生的次数。

   • 离散型(泊松分布)：与指数型描述的是相邻两次到达之间的时间间隔不同，离散型刻画的是给定时间内的到达次数满足泊松分布，长度为t的时间区间内，到达次数$N_t$满足：
     $$P(N_t=n)=\frac{e^{-\lambda t}(\lambda t{)}^n}{n!}$$
     到达次数$N_t$数学期望是$E(N_t)=\lambda t$，表示时间间隔$t$内到达次数的平均值。

     在同一个问题中，上述两种泊松过程的类型都是可以应用的，在描述的精度上会有差异(比如讨论在$95$%的误差范围内讨论到达次数的偏差)，但是我觉得之后在应用的时候不做过多的考虑，问题问的是什么物理量我们就用哪种类型，比如问的是时间，我们就用指数分布；问的是次数，我们就用泊松分布。

2. 马尔科夫链：这个概念是我第一次接触，描述的是一个随机跳跃的序列，涉及到在不同状态之间按照一定的概率转移，而且$X_{n+1}=j$的概率仅仅依赖于$X_n$。

   对于马尔可夫链，有两个层面的表示方法，一是状态转移图，一个是状态转移矩阵。

   • 状态转移图：能够比较直观的表示出状态之间的跳跃，我们依据状态转移图可以列出转移矩阵。

   • 状态转移矩阵：注意状态转移的特征，每个元素都是条件概率，元素的第一个下标(行下标)是当前的位置，第二个下标(列下标)是跳跃的目的地。这样的规定导致我们都是将概率分布写成行向量的形式，并且在递归表达式中，前一状态的概率分布向量要左乘状态转移矩阵。随着n的增加，状态分布可能会趋于确定的极限值，也就是说给定初始状态，概率的分布会达到一个稳定的分布。这样分析稳定状态的目的在于，我们可以给定一个初态，可以得到之后取到任何一个状态的概率，而不只是条件的概率。

     在计算问题上，有两种路子：

     • 一种是给定一个初态，状态转移矩阵升幂，可靠的计算方法是将矩阵相似对角化，对角矩阵中的元素升幂，观察是否有稳定值。
     • 另一种已知最后有稳定状态，通过改写递归式解方程得到，类似与求数列极限的方法。当然，观察敏锐的同学可能注意到，这时似乎和初始状态没有关系了。是的，这种方法适合于无论何种初始状态都能够达到稳定的状态。一个定理可以保证，一个遍历的马尔可夫链一定趋于稳定状态。其中"遍历"指的是对于每个i和j，i跳转到j都可以在有限步骤内实现。