马尔科夫模型

一、马尔科夫链

一个系统在t时刻的状态只与在时刻t-1的状态相关，则构成了一个离散的一阶马尔科夫链，可以就通俗的理解成昨天的天气对今天的天气的影响即可。公式为：

二、马尔科夫模型

加入只考虑独立于时刻t的随机过程，则满足以下两个公式的随机过程称为马尔科夫模型

且

举个栗子：

得出结果：