马科夫过程（MP) -＞ 马尔科夫奖励过程（MRP） -＞ 马尔科夫决策过程（MDP）

一 、马尔可夫性 — 只与当前状态有关

马尔科夫性，当前状态包含了对未来预测所需要的有用信息，过去信息对未来预测不重要，该就满足了马尔科夫性，严格来说，就是某一状态信息包含了所有相关的历史，只要当前状态可知，所有的历史信息都不再需要，当前状态就可以决定未来，则认为该状态具有马尔科夫性。下面用公式来描述马尔科夫性：
P(S_t+1|S_t) = P(S_t+1|S₁, S₂, ……, S_t)

根据公式将来的状态S_t+1与过去的状态无关，只与当前状态S_t有关。
我们用状态转移概率来描述马尔科夫性P_ss’ = P(S_t+1= s’|S_t = s)

二、马尔科夫过程（Markov Process）

马尔科夫过程又叫马尔科夫链(Markov Chain)，它是一个无记忆的随机过程，可以用一个元组<S,P>表示，其中S是有限数量的状态集，P是状态转移概率矩阵。
我们用状态转移概率矩阵来描述所有可能，转移概率矩阵上每一行的和都为1。

三、马尔科夫奖励过程（Markov Reward Process）

马尔科夫奖励过程是在马尔科夫过程基础上增加了奖励函数R和衰减系数γ

• S状态下的奖励R是某一时刻的状态处在状态s下在下一个时刻(t+1)能获得的奖励的期望，用公式表示为：
  R_s = E(R_t+1|S_t=s)

定义：收获G_t为在一个马尔科夫奖励链上从t时刻开始往后所有的奖励的有衰减的收益总和，公式如下：
G_t =R_t+1 +γR_t+2 +⋯+γ^n-1R_t+n

• 而衰减系数γ，用来描绘远期利益的不确定性，体现了未来的奖励在当前时刻的价值比例，很显然越靠近1，考虑的利益越长远
  既然有了收获，我们就需要衡量某一个状态的价值，我们定义如下：

定义：一个马尔科夫奖励过程中某一状态s的价值函数为从该状态开始的马尔科夫链收获的期望，公式如下：
V_s = E(G_t|S_t=s)

推导得到bellman 方程
V_s = E(G_t|S_t=s)
= E(R_t+1 +γR_t+2 +⋯+γ^n-1R_t+n|S_t=s)
= E(R_t+1 +γV(S_t+1)|S_t=s)
= E(R_t+1|S_t=s) +γE(V(S_t+1)|S_t=s)
一个是当前获得的奖励的期望，另一个是下一时刻状态的价值期望，这是我们就可以利用转移概率矩阵得到期望，这是Bellman方程,
V_s = Rs + γ 求和 Pss’ V(s’)
其中S表示下一时刻的所有状态，s’表示下一时刻可能的状态。

四、马尔科夫决策过程（Markov Decision Process）

马尔科夫决策过程是在马尔科夫奖励过程的基础上加了decisions过程，其实是多了一个动作集合，用<S，A，P，R，γ>表示。
这里的P和R都与具体的行为a对应，而不像马尔科夫奖励过程那样仅对应于某个状态，A表示的是有限的行为的集合。

用公式表示
P^a_ss’ = P(S_t+1= s’|S_t = s, A_t=a)
R^a_s = E(R_t+1|S_t=s, A_t=a)

4.1 策略

我们用 π 表示策略的集合，其元素为对过程中的某一状态s采取可能的行为a的概率，用公式表示为
π(a|s) = P(A_t=a|S_t=s)

4.2 【MDP和策略】 情况下 状态转移概率 /奖励函数

当给定一个MDP和一个策略π(a|s) ，那么状态序列是一个马尔科夫过程<S,P>；同样，状态和奖励序列是一个马尔科夫奖励过程，并且在这个奖励过程中满足下面两个方程：
状态转移概率： P^π_ss’ = 对a求和 π(a|s) P^a_ss’
奖励函数： R^π_s = 对a求和 π(a|s) R^a_s
状态转移概率可以描述为：在执行策略时，状态从s转移至s’的概率等于执行该状态下所有行为的概率与对应行为能使状态从s转移至s’的概率的乘积的和。

4.3 基于策略的价值函数[状态价值/行为价值]

定义：v(s)是在MDP下的基于策略的状态价值函数，表示从状态s开始，遵循当前策略时所获得的收获的期望，用公式表示如下：
V_π = E_π(G_t|S_t=s)

定义：q_π(s,a)是基于策略的行为价值函数，表示当前状态s执行某一具体行为a所能的到的收获的期望，用公式表示如下：
q_π(s,a) = E_π(G_t|S_t=s, A_t= a)

根据bellman方程做类似推导：
V_π = E_π(G_t|S_t=s)
= E_π(R_t+1 +γV(S_t+1)|S_t=s)
q_π(s,a) = E_π(G_t|S_t=s, A_t= a)
= E_π(R_t+1 +γV(S_t+1)|S_t=s, A_t= a)
我们可以得到状态价值函数和行为价值函数的关系
V_π (s) = 对a求和 π(a|s) q_π(s,a)

q_π(s,a) = E_π(R_t+1 +γV(S_t+1)|S_t=s, A_t= a)
= E_π(R_t+1|S_t=s, A_t= a) + γE_π(V(S_t+1)|S_t=s, A_t= a)
因为：R^a_s = E(R_t+1|S_t=s, A_t=a) ， P^a_ss’ = P(S_t+1= s’|S_t = s, A_t=a)
所以 = R^a_s+ γ 对s’求和 P^a_ss’V_π (s’)

五、最优策略

最优状态价值函数指的是在从所有策略产生的状态价值函数中，选取使状态s价值最大的函数：
max V_π (s)
类似的，最优行为函数从所有策略产生的行为价值函数中，选取是状态行为对<s，a>价值最大的函数
max q_π(s,a)
对于任何状态s，遵循策略π的价值不小于遵循策略π’下的价值，则策略π优于策略π’

定理：对于任何MDP，下面几点成立：
1.存在一个最优策略，比任何其他策略更好或至少相等；
2.所有的最优策略有相同的最优价值函数；
3.所有的最优策略具有相同的行为价值函数。
根据上面定理，我们可以通过最大化最优行为价值函数来找到最优策略。

Bellman最优方程是非线性的，没有固定的解决方案，通过一些迭代方法来解决：价值迭代、策略迭代、Q学习、Sarsa等。

参考资料：
https://blog.csdn.net/weixin_42389349/article/details/82948725