马尔科夫链基础

转载出处,学习备用,侵删:

__biz=MzA3MzI4MjgzMw==&mid=2650739176&idx=3&sn=ac0a55022def4d23ab618b8d388c381d&chksm=871ad596b06d5c809be9c975048ba82a3bc2b1c33b35a237cc72f0e4a9d09f3e7ceda00dc8b5&mpshare=1&scene=1&srcid=031473Sl1A636PKlgDqcYO47#rd

机器之心《入门 | 今天是雾霾,明天是什么?马尔可夫链告诉你》


隐马尔科夫链是马尔科夫链的一种

马尔科夫链只涉及状态的转移,而隐马尔科夫模型在状态的基础上又加入了外在表现的概率,相当于又嵌套了一层,关于隐马尔科夫模型可以看《统计学习方法》

 

模型

 

形式上,马尔可夫链是一个概率自动机。状态转移的概率分布通常表示为马尔可夫链的转移矩阵。如果马尔可夫链有 N 个可能的状态,那么这个转移矩阵就是 N*x*N 的矩阵,使得元素 (I, J) 代表从状态 I 转移到状态 J 的概率。此外,状态转移矩阵必须是随机矩阵,它的每一行元素之和必须是 1。这完全是能够讲得通的,因为每一行代表它自己的概率分布。

马尔可夫链的一般视图,圆圈代表状态,边代表转移。

具有三个可能状态的状态转移矩阵。

 

此外,马尔可夫链也会有一个初始状态向量,由一个 N x 1 的向量表示,用这个向量来描述从 N 个状态中的某个状态开始的概率分布。初始向量中的元素 I 代表该马尔可夫链从 I 状态开始的概率。

具有四个可能状态的初始向量。

 

这两个实体通常就是用来描述一个马尔可夫链所需的全部内容了。

 

我们知道如何获得从一个状态转移到另一个状态的可能性,但是如何知道经过多个步骤后发生转移的概率呢?为了将这个也形式化,我们现在要定义在 M 个步骤中从状态 I 转移到状态 J 的概率。事实证明,这是很容易的。给定一个状态转移矩阵 P,这可以通过计算矩阵 P M 次幂中的元素 (I, J) 来决定。然而,对于 M 值比较大的情况,如果您对简单的线性代数比较熟悉,更有效的方法是先将矩阵对角化,然后再计算它的 M 次幂。


猜你喜欢

转载自blog.csdn.net/emiedon/article/details/79595207