以马尔科夫链的例来学习数学理论

我们以马尔科夫链为例,来看看如何将数学理论应用在实际学习中。马尔科夫是随机过程中的一个在预测领域经常应用的理论。

学习某种数学的算法或者理论,总结起来无非是以下几个方面,掌握学习规律后,我们可以根据自己的实际情况,对不同部分的学习,给予取舍:

1、原理或定理的由来。

这点其实是最难的部分,要求有扎实的数学功底,包括了从无到有的推理过程,算法的证明,来龙去脉等。数学常常是抽象中的抽象,一门学科常常以前面的若干学科为基础,因此有时候单看一个理论是很难一管窥豹的。建议如果对数学知识基础不扎实,其实完全可以忽略这部分。而只要记住结论,记住公式。我们只要知道,这个算法的应用领域,适用范围等即可。当然最好要大致了解这个理论在整个架构中的位置,这样方便我们整理自己的知识架构。

例如马尔科夫​是随机过程中的一个概念。通过下面的分析,我们大致就了解马尔科夫的适用范围和再随机过程中的大致的位置。

随机过程可以看做是一个从参数集(T)​到状态空间(E)的映射。也就是由参数集中的随机变量构成的函数。

而按照参数集和状态空间的类型,可以分为:离散参数链、非离散参数链、随机序列、随机函数。

根据概率的机构,随机过程分为:独立增量过程、平稳过程、非平稳过程、马尔科夫过程等。

这里著名的泊松过程就是T连续,E离散的平稳过程;马尔科夫链就是T和E均离散的马尔科夫过程。

2、原理或算法的约束条件的逐步强化

这是用以简化问题研究。其实提出越严苛的条件,越有利于我们对理论的快速理解。原理的推理过程大多是从普遍规律推到特殊情况,条件逐渐加强,而其实有时候可以从严苛条件反推回去看宽松条件的定理,学习起来更轻松。往往为了简化某个公式或者某个理论,往往会对算法进行简化。

比如在马尔科夫链中,一开始不太好理解,但是随着条件的加强,概念反而越来越清晰。

​1)首先是马氏链:也就是当前的状态与过去的状态无关,也就是随机出现的。例如青蛙跳荷叶、醉汉走步等。这样就约束了,状态之间的关系。

扫描二维码关注公众号,回复: 3827423 查看本文章

2)接下来是​与时间的无关性,也就称为齐次。也就是条件概率与当前的时间无关,换句话说,无论什么时候,条件概率是一样的。这样就得到了齐次马氏链

3)弱依赖性。​​这个应该算是条件也算是性质。本来在计算预测中最担心的是多元素的互相依赖。而马链却很好的有个弱依赖性,也就是当前点只依赖于前一个点。正因为有了这个弱依赖性,使得,我们可以从初始状态推测出后面无数点的预测状态。(第三大点的第1点说明)

根据这个弱依赖性,我们就可以做一个转移矩阵P了。这个转移矩阵的每个值,就是表示上一点,到本点的概率。

其中​Pij,是指当前状态为i的情况下,转移到j的条件概率。

所以有:P00+P01+...+P0m=1​

​4)一步转移概率。当在二维上,点的范围非常大,各个方向都可以移动。为了研究问题,这个时候理论又进一步开始限制条件,再来简化问题,也就是只能在一维上运动,也就是非左即右,而且每次只走一步。这样就使得问题越来越明了和简单。

​我们可以看到,马可夫链,不断的强化条件,这是为了最后的原理能落地,更接近于实际情况。

3、原理的逐步引申推出

把原理进一步的进行演算,是为了能把原理应用到实践中。可以看做是一个从理论到实践的过程,有时候会运用到之前的许多概念。有时候很难,对于过程原理部分,也可以忽略掉。可以只记住结果。

例如,马尔科夫链需要确定,在以上条件下,我们最终来确定条件概率,能预测未来。那么就会涉及移动的极限的问题。也就是如果不停的移动,产生的概率,最后的极限是什么?如果极限是确定的,我们可以说这种的震荡过程就是平稳的。​

1)多步概率的​确定。为了研究极限,当然需要从有限开始,走一步,然后走多步,会得到什么结论呢?既然从一步到多步,那么就肯定有中间的步骤。于是有一个C-K方程。

​这个方程,其实就是对时间的分解,中间插入了一个中间步骤。解决了从一步到多步的问题研究。

其实我们只要记住最后的结论:P(U+V)​=P(U)+P(V),这里的P是上面说的转移矩阵。

这样就得出结论:P(n)=P^n。哈哈,这个结论非常神奇,也就是只要知道一步,就可以推算出N步,这也就是我们前面说的:可以从初始状态推测出后面无数点的预测状态

2)无限步概率的确定。上面讨论是有限的情况,那么无限会怎么样呢?

这个时候为了简化问题,就考虑只有两个状态空间,非0即1的时候,多步概率会怎样?

​那么根据P(n)=P^n,我们就可以计算出P(n)的情况,也就是走了n步后的概率情况:

关于矩阵的n次方求解方法,请点击查看,自行恶补。最后得到:

 

哈哈,这个结论也好棒啊。因为(1-a-b)是小数,当n无穷的话,这个式子就是0咯。这里就引出了极限。​

​那么极限就出来啦,记为π1和π2

​3)多个状态的无限步概率。然后由两个状态拓展到多个状态,就得出了重要的结论。

​再解释一下:遍历性,就是P^n使得所有的π>0,这个n只要能找到就行!,也就是概率不为0。实际意义就是,任何一个状态经过若干步,总是能到达的,没有遗漏称之为遍历性

4)最后定理出来了

​解释一下:π,其实就是一个向量,也就是概率的极限。(例如,硬币的正反面,概率的极限就是各50%)。因为P是转移矩阵,所以π,转移后,肯定还是π,因为π是极限,是固定值,也可以说概率是稳定的。(例如,硬币概率是50%,再扔一次或者n次,概率还是50%,不会变的)

​整理思路:

​a)要求证是否有遍历性,只要找到一个m,使得p^m无零元。

​b)通过极限分布得到求解方程组。

c)因为π的值可以计算得到,因此我们可以得出:​在定理条件下马是链的极限分布是平稳的。

4、具体应用步骤

那么有定理了,怎么来应用呢?这是必须要掌握的部分。了解了定理,我们需要整理一个规律,可以套用到相应的领域。

在确定参数集(T)和状态空间(S)之后:​

​1)求解一步转移矩阵P

通过过往的数据,状态转换的条件概率值,而得到​

2)求证遍历性​

​也就是找一个n,使得P^n无零元。

3)求极限分布π

π=(π1,π2,...,πm)​,满足π=πP,而且π1+π2+...+πm=1,这样就可以得出所有的π值。例如:

​4)得到将来的预测值。

      先得到一个初始的概率分布向量P(0),那么第n步预测值就应该是:P(0)*P^n

5、案例应用​

​市场占有率预测:

​设某地有1600户居民,某产品只有甲、乙、丙3厂家在该地销售。经调查,8月份买甲、乙、丙三厂的户数分别为480,320,800。9月份里,原买甲的有48户转买乙产品,有96户转买丙产品;原买乙的有32户转买甲产品,有64户转买丙产品;原买丙的有64户转买甲产品,有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂,试求:9月份市场占有率的分布;12月份市场占有率的分布。

​参数集:{1600户居民},状态空间E={1,2,3}分别为甲乙丙三厂

1)转移矩阵​

​2)P无零元是具有遍历性的。

​3)9月份P(1)=P(0)P1,12月份=p(0)P1^4

​铁路公路运输预测:

猜你喜欢

转载自blog.csdn.net/jinhe123/article/details/53319078
今日推荐