往期基础知识回顾：马尔可夫过程Ⅰ：马尔可夫链、齐次马尔可夫链、CK方程
0、符号规定
：转移概率，从状态i到状态j，n步转移概率，不关心是否重复经过状态j。
：首达概率，经过n步第一次从i达到j的概率，规定途中不能经过状态j。
：迟早到达的概率，为首达概率的和。
：平均转移步数，为到达状态j的期望。
：从状态i首次返回状态i的平均步数
1、状态分类
注解：
所谓某个事件（状态）是常返态，就表示该事件一定会发生。
某个事件是非常返态，就表示该事件有几率不发生。
而有限状态马氏链不存在零常返状态。
2、示例：
下面介绍两个简单的有限马氏链示例，来直观的介绍常返与非常返。
若某有限马氏链只存在两个状态0，1，其一步转移矩阵如下所示：
情况一：
可见，状态0有概率保持状态或者进入状态1，状态1同样也有概率保持或者转入状态0。
那么对于状态0，它有概率保持0，表示它返回了0；也有概率转入1，但是由于1也能转入0，所以即使从0转入1，也一定会返回0，只是需要一定步数。即状态0常返，或者说返回0这个事件一定发生，对于状态1也是同理。
情况二：
这种情况下，状态0一旦转入状态1，状态就会一直保持1，就无法返回0，那么表示返回0这个事件不是一定发生的，因为状态0一旦转入状态1就不会返回0，那么状态0就是非常返态，状态1就是常返态。