一步转移概率
现在，我们就均匀时间的Markov链讨论下其状态转移的规律。假设有一Markov链，是一个离散状态空间（有限或者无限）：
根据Markov过程的无记忆性和时间均匀Markov链的时间均匀性，可以得到状态i到j的一步转移概率。
一步转移概率矩阵
另外，还可以以转移概率矩阵的方式写出该Markov链的所有一步转移概率：
多跳转移概率
另外，根据全概率公式以及Chapman-Kopmogorov方程，可以推导出n+m跳转移概率：
证明步骤太麻烦，改天写，已略。
多跳转移概率矩阵
证明步骤太麻烦，改天写，已略。
上面这两种转移矩阵就是常用来描述状态转移规律的数学工具，但是始终还是太“抽象”了哇，不过不抽象就不能符号化了，不符号化怎么成为通用的概括公式呢，这就是数学嘛。但是最直观的还是状态转移图了，就是一开头发的那种，现在我们看看他们之间有啥关系？
下面先举个经典的关于《一个“缺心眼”教授忘带伞》的栗子：
（虽然听上去像骂人，但是Absent-minded professor怎么翻译都像缺心眼教授唉）
这个栗子假设有一个“缺心眼”教授有两把伞，而她每天都会往返“办公室”和“家里”，这个教授很“缺心眼”，因为当下雨的时候她出发才会带上一把伞，不下雨就不会带伞，现在假设某天她出门下雨的概率是p，那么当前她所在地有雨伞的数目（可以被当做一个状态），和她下一个所在地有雨伞的数目可以用Markov链来表示，如下左图。
左边的状态转移图是不是超级直观超级简单，一共只有3个状态（当前所在地没有雨伞和有1把雨伞、2把雨伞），统统用数字表示“0，1，2”，可以看出”0态“可以转移到”2态”，而且发生的概率是1（那肯定的啊，不管下不下雨，她都会从没有雨伞的地方去往有2把雨伞的地方，那就意味不下雨她就忘记带伞了，下雨的话因为没有雨伞只能淋着雨出门了），”2态“可以转移到“0态”发生的概率是1-p（这表示她没有从有2把伞的地方带伞出门，即没有下雨的情况，即忘记带伞，概率为1-p），以此类推。是不是觉得很神奇，这个图可以把所有的状态以及它们之间可以转换的概率写了上去，当两个状态之间没有箭头连接时，说明这两个状态不能相互转移。虽然状态转移图非常直观，描述出来很好理解，但是能得到什么数学结论呢？我们把它模型化肯定是要从中找到一些我们特别想求出的东西的，一个图我们能求出什么呢？所以我们用上面介绍过的状态一步转移矩阵来描述这个图，如右边的矩阵。这样就可以表示更多的东西了，比如某天有几把伞的瞬时概率，被叫做瞬时概率矩阵，