概念：
则称为马尔可夫过程。
定理1：独立过程是马尔可夫过程。
定理2：若独立增量过程满足初始分布
，则为马尔可夫过程。
马氏过程的有限维分布由一维分布和条件分布完全确定。
离散参数马氏链：
转移矩阵是随机矩阵，其行向量都是概率向量。
k步转移概率：
C-K方程：
齐次马氏链：一步转移概率与初始时刻无关
绝对分布：
初始分布：
绝对分布由初始分布和一步转移概率确定：
遍历性：对一切i，j，存在常数，使得
且与i无关，则称此马氏链具有遍历性。
极限分布：，为一概率向量，
。
遍历马氏链的n步转移矩阵的极限矩阵，其各行向量均为极限分布。
ps：极限矩阵每行都相同。
遍历性定理：
若存在正整数n0，使n0步转移矩阵的每个元素都为正，则称此马氏链具有遍历性。
定理1：遍历的齐次马氏链，其绝对分布与转移概率有相同的极限。
定理2：若马氏链初始分布是一个平稳分布V，则其绝对分布为 π(n)=V。
定理3：遍历的齐次马氏链的极限分布，就为平稳分布V。
首达时刻：
平均步数：
平均返回步数：
首达概率：
首返概率：
推论：
最终概率：
最终返回概率：
定理1：
定理2：
定理3：
状态的常返性：
定义1：
，称状态i是常返状态。
，称状态i是非常返状态。
定理1：状态i常返
推论：
状态i非常返
状态i非常返
定理2：i是常返的，若 i->j，则 j->i，且
定义2：
，i是正常返
，i是零常返
定理3：i是零常返
状态的周期性：
定义1：是非空集，状态i的周期定义为：
，d=1时，为非周期。
定义2：正常返非周期的状态称为遍历态。
定理1：
i是遍历态
i是周期为d的正常返状态
状态空间的分解：
状态互通：
定义1：C是E的子集，i∈C，jC，
，称C为闭集。
定理1：i是常返状态，若i->j，则j也是常返状态。
定理2：马氏链的全体常返态构成一个闭集。
定义2：闭集C中不含非空真子集，称C是不可约的。
定义3：若状态空间E是不可约的，则称不可约马氏链。
定理3：马氏链不可约 它的所有状态之间是互通的。
推论1：不可约马氏链或无常返，或无非常返。
推论2：不可约常返链，若一个状态d > 1，则全体都是。
定理4：齐次马氏链的状态空间E可唯一地分解为：
E=N+C1+C2+...+Ck+..，其中Ck为不可约常返闭集，N为全体非常返集