Good resource, Markov Chains Explained Visually, http://setosa.io/ev/markov-chains/
============================
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
============================
马尔可夫性质非正式表示
对于一个随机过程，如果我们知道在给定时间过程所取的值，我们就不会通过收集更多关于过去的知识来获得关于过程未来行为的任何额外信息。用更为数学的术语表述，在任何给定的时间内，给定当前和过去状态的过程的未来状态的条件分布仅取决于当前状态，而完全不取决于过去状态（无记忆属性）。具有马尔可夫性质的随机过程称为马尔可夫过程。
马尔可夫性质表示这样一个事实，即在给定的时间步和已知当前状态的情况下，通过收集有关过去的信息，我们不会得到任何关于未来的额外信息。基于前面的定义，我们现在可以定义“同构离散时间马尔可夫链”（为了简单起见，下面将称为“马尔可夫链”）。马尔可夫链是一个具有离散时间和离散状态空间的马尔可夫过程。因此，马尔可夫链是一个离散的状态序列，每个状态序列都是从一个离散的状态空间（有限或无限）中提取出来的，并且遵循马尔可夫性质。
在数学上，我们可以用下列式子表示马尔可夫链：
其中，在每一时刻，过程的值都是取自离散集E中的，如下所示：
那么，马尔可夫性质意味着有如下结论：
最后一个公式表达了这样一个事实：对于给定的历史（我现在在哪里，我以前在哪里），下一个状态（我将去向何方）的概率分布仅取决于当前状态，而不取决于过去的状态。
============================
马尔科夫链平稳状态
举个具体的例子。社会学家把人按其经济状况分为3类：下层，中层，上层，我们用1,2,3表示这三个阶层。社会学家发现决定一个人的收入阶层最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别，则它的孩子属于下层收入的概率为0.65，属于中层收入的概率为0.28，属于上层收入的概率为0.07。从父代到子代，收入阶层转移概率如下
我们用P表示这个转移矩阵，则
假设第1代人的阶层比例为
，则前10代人的阶层分布如下
我们可以看到，在相同的转移矩阵作用下，状态变化最终会趋于平稳。对于第n代人的阶层分布，我们有
从表达式上我们可以看到，π是一维向量，P是两维矩阵，P进行足够多次自乘后，值趋于稳定。
马尔科夫链平稳状态定理
在转移矩阵P作用下达到的平稳状态，我们称之为马氏链平稳分布。对于这个特性，有如下精彩定理
我在这里直观的解释一下上面定理
条件
（1）非周期马氏链：马氏链转移要收敛，就一定不能是周期性的。不做特别处理，我们处理的问题基本上都是非周期性的，在此不做多余解释。
（2）存在概率转移矩阵P，任意两个状态是连通的：这里的连通可以不是直接相连，只要能够通过有限次转移到达即可。比如对于a, b, c状态，存在a->b, b->c，则我们认为a到c是可达的。
结论
（1）不论初始状态是什么，经过足够多次概率转移后，会存在一个稳定的状态π。
（2）概率转移矩阵自乘足够多次后，每行值相等。即
马尔科夫链平稳状态定理的物理解释
我们再用一个更加简单的例子来阐明这个定理的物理含义。假设城市化进程中，农村人转移为城市人的概率为0.5，城市人转移为农村人的概率为0.1。
|
|
农村人 |
城市人 |
| 农村人 |
0.5 |
0.5 |
| 城市人 |
0.1 |
0.9 |
假设一开始有100个农村人，0个城市人，每代转移人数如下
| 代数 |
农村人 |
城市人 |
农村人转移为城市人 |
城市人转移为农村人 |
| 1 |
100 |
0 |
50 |
0 |
| 2 |
50 |
50 |
25 |
5 |
| 3 |
30 |
70 |
15 |
7 |
| 4 |
22 |
78 |
11 |
8 |
| 5 |
19 |
81 |
10 |
8 |
| 6 |
17 |
83 |
8 |
8 |
| 7 |
17 |
83 |
8 |
8 |
可以看到，城市化进程中马尔科夫平稳状态就是农村人转移为城市人的速度等于城市人转移为农村人的速度。对于上述转移矩阵P，平稳分布为农村人17%，城市人83%。如果我们可以得到当前中国城市化转移矩阵P，我们就可以算出中国最终城市化率大概为多少（这里不考虑P的变化）。同时如果我们知道了中国城市化人口比例，我们就能知道城市化进程还可以持续多少代人。
============================
============================
原文链接：
https://blog.csdn.net/bitcarmanlee/article/details/82819860
https://www.cnblogs.com/coshaho/p/9740937.html
REF
（Good）https://wenku.baidu.com/view/e87b12b25b8102d276a20029bd64783e09127dce.html