马尔可夫过程
马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。
每个状态的转移只依赖于之前的n个状态，这个过程被称为1个n阶的模型，其中n是影响转移状态的数目。最简单的马尔可夫过程就是一阶过程， 每一个状态的转移只依赖于其之前的那一个状态 ，这个也叫作 马尔可夫性质 。用数学表达式表示就是下面的样子：
假设这个模型的每个状态都只依赖于之前的状态，这个假设被称为 马尔科夫假设 ，这个假设可以大大的简化这个问题。显然，这个假设可能是一个非常糟糕的假设，导致很多重要的信息都丢失了。
- 将随机变量作为结点，若两个随机变量相关或者不独立，则将二者连接一条边；若给定若干随机变量，则形成一个有向图，即构成一个网络 。
- 如果该网络是有向无环图，则这个网络称为 贝叶斯网络。
- 如果这个图退化成线性链的方式，则得到 马尔可夫模型 ；因为每个结点都是随机变量，将其看成各个时刻(或空间)的相关变化，以随机过程的视角，则可以看成是 马尔可夫过程 。
- 若上述网络是无向的，则是无向图模型，又称 马尔可夫随机场或者马尔可夫网络 。
- 如果在给定某些条件的前提下，研究这个马尔可夫随机场，则得到 条件随机场 。
- 如果使用条件随机场解决标注问题，并且进一步将条件随机场中的网络拓扑变成线性的，则得到 线性链条件随机场 。