Example 2 for Markov Chain ‘Absent-minded professor problem’

这个栗子对迅速应用Markov Chain解决实际问题很有参考性意义,因此又把它从“Markov Chain”拎出来说一下:“缺心眼”教授忘带伞英文即“Absent-minded professor problem”,(虽然“缺心眼”听上去像骂人,但是Absent-minded professor怎么翻译都像缺心眼教授唉)

这个栗子假设有一个“缺心眼”教授有两把伞,而她每天都会往返“办公室”和“家里”,这个教授很“缺心眼”,因为当下雨的时候她出发才会带上一把伞,不下雨就不会带伞,现在假设某天她出门下雨的概率是p,那么当前她所在地有雨伞的数目(可以被当做一个状态),和她下一个所在地有雨伞的数目可以用Markov链来表示,如下左图。


这个状态转移图是不是超级直观超级简单,一共只有3个状态(当前所在地没有雨伞和有1把雨伞、2把雨伞),统统用数字表示“0,1,2”,可以看出”0态“可以转移到”2态”,而且发生的概率是1(那肯定的啊,不管下不下雨,她都会从没有雨伞的地方去往有2把雨伞的地方,那就意味不下雨她就忘记带伞了,下雨的话因为没有雨伞只能淋着雨出门了),”2态“可以转移到“0态”发生的概率是1-p(这表示她没有从有2把伞的地方带伞出门,即没有下雨的情况,即忘记带伞,概率为1-p),以此类推。是不是觉得很神奇,这个图可以把所有的状态以及它们之间可以转换的概率写了上去,当两个状态之间没有箭头连接时,说明这两个状态不能相互转移。虽然状态转移图非常直观,描述出来很好理解,但是用Markov Chain理论里面的数学模型“转移概率”、“转移概率矩阵”。“瞬时转移概率”来描述这个过程更加便于我们处理。

                                                         

上面这个是描述“缺心眼教授”的一步转移概率矩阵。其中第i行j列表示从状态i到状态j的转移概率。第这样就可以表示更多的东西了,比如某天有几把伞的瞬时概率,被叫做瞬时概率矩阵。

根据上面的转移概率矩阵以及,瞬时转移概率的推导公式:

可以推导出该问题下瞬时转移概率的稳态分布(用Markov Chain求稳态分布的method1):


那么稳态分布的第一项就是统计意义上没有伞的概率,再乘上下雨的概率p就是这位教授要被淋湿的概率。


如果要用Method 2来计算的话,我们得先知道p的值,代入到一步转移概率矩阵再计算出多步转移概率矩阵的值。假设p=0.1。那么


这个极限收敛矩阵的每一行都是稳态分布,我们可以用Method 1 的结果来验证一下:



猜你喜欢

转载自blog.csdn.net/weixin_41705973/article/details/80004416
今日推荐