[机器学习]马尔科夫模型、半马尔科夫模型、隐马尔科夫模型

1. 马尔科夫模型

1.1 马尔科夫过程

马尔可夫过程(Markov process)是一类随机过程，该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。

一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 $n$个状态，这个过程被称为$n$阶马尔科夫模型，其中$n$是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态。

对于一阶马尔科夫模型，则有：

如果第 i 时刻上的取值依赖于且仅依赖于第 i−1 时刻的取值，即

马尔科夫过程指的是一个状态不断演变的过程，对其进行建模后称之为马尔科夫模型，在一定程度上，马尔科夫过程和马尔科夫链可以打等号的。

1.2 马尔科夫无后效性

马尔科夫的无后效性：系统在$t>t0$时刻所处的状态与系统在$t<t0$时的状态无关，这就是马尔科夫性或者无后效性。简单地说就是将来与过去无关，只与现在有关，不断向前形成这样一个过程。

1.3 马尔科夫链

时间和状态都是离散的马尔可夫过程称为马尔可夫链，简记为$Xn=X(n),n=0,1,2\dots$马尔可夫链是随机变量X1,X2,X3…的一个数列。

1.3.1 状态空间

马尔可夫链是随机变量$X1,X2,X3\dots Xn$所组成的一个数列，每一个变量$Xi$ 都有几种不同的可能取值，即他们所有可能取值的集合，被称为“状态空间”，而$Xn$的值则是在时间n的状态。

1.3.2 转移概率(Transition Probability）

马尔可夫链可以用条件概率模型来描述。我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率。

1.3.3 转移概率矩阵

很明显，由于在每一个不同的时刻状态不止一种，所以由前一个时刻的状态转移到当前的某一个状态有几种情况，那么所有的条件概率会组成一个矩阵，这个矩阵就称之为“转移概率矩阵”。比如每一个时刻的状态有n中，前一时刻的每一种状态都有可能转移到当前时刻的任意一种状态，所以一共有n*n种情况，组织成一个矩阵形式如下：

马尔科夫过程与初始状态无关，跟转移矩阵有关。

---

2.半马尔科夫模型

---

参考：
https://blog.csdn.net/qq_27825451/article/details/100117715
https://www.cnblogs.com/mantch/p/11203748.html
https://blog.csdn.net/fengyanqingnudt/article/details/84135997