马尔可夫过程：
马尔可夫过程按照其状态和时间参数是否连续或者离散分为三种：1.时间和状态都离散的叫做马尔科夫链，2.时间和状态都是连续的叫做马尔科夫过程，3.时间连续，状态离散的叫做连续时间的马尔科夫链。
马尔可夫过程，其特点是，当过程在时刻 T0所处的状态为已知的条件下，过程在 T 时刻（T>T0）所处的状态仅与时刻T0 有关，而与过程在T0之前的时刻无关系。
首先声明的是公式 P(n)=P(1)^n 表示计算的事n步转移概率矩阵，而不是某一点到另一点的n步转移概率。
以下不成立：Pij (n) != Pij(1)^n
马尔可夫链（Markov Chain）
例子：一个质点在[1,5]上随机游动，只能在时刻n为自然数发生移动且停留在1,2,3,4,5 五个点，在2,3，4点是以1/3的概率向左，2/3的概率向右，在5点上以概率1停留，在1点上以概率1移动到2.
一步转移概率矩阵：Pij(1) 从状态i 经过一步到达j状态的概率如下：
N步转移矩阵：Pij(n)从状态i 经过n步到达j状态的概率 Pij(n)=P(1)^n
理论基础:Chapman-Kolmogorov方程（c-k公式）
根据C-K方程，可知前面的例子的二步概率矩阵为a*a：矩阵乘法（MatLab 检验）
同理，N步转移概率矩阵
P(n) = P(n-1)P(1) = P(n-2)P(1)P(1) = ..... = P(1)^n