时序差分方法

时序差分方法

动态规划的公式是在每执行一步策略后更新值函数，但必须模型可知；
蒙特卡罗方法对末知模型进行动态值估计，但需要在完成一个采样阶段后才能更新值函数。
而时序差分方法则结合了动态规划和蒙特卡罗方法的思想，做到更高效的免模型学习。

1､公式推导

动态规划：
$v_π(s) = E(r+g*v_π(s'))$
$E：$数学期望，$g：$折扣率；

蒙特卡罗方法：
$V_{t+1}(s) = V_t(s)+a(v_{t+1}(s)-V_t(s))$
$V_t(s)：$t阶段后状态$s$的状态值，$v_t(s)：$第t阶段状态$s$的状态值；

将动态规划中的公式代入蒙特卡罗方法中的公式得：

$V_{t+1}(s)$
$= V_t(s)+a(E(r+g*v_π(s'))-V_t(s))$
$= V_t(s)+a(r_{t+1}+g*V_t(s')-V_t(s))$

动作值函数也可以使用这公式，因此：

$$Q_{t+1}(s,a) = Q_t(s,a)+a(r_{t+1}+g*Q_t(s',a')-Q_t(s,a))$$

2､类别

根据$Q_t(s',a')$的选择不同，可以分三种方法：

sarsa0:根据e贪婪策略随机选择下一个状态$s'$的动作$a'$，并将$Q_t(s',a')$作为预测的动作值；
$Q_{t+1}(s,a) = Q_t(s,a)+a(r_{t+1}+g*Q_t(s',a')-Q_t(s,a))$

sarsamax(Q学习):将下一个状态$s'$的最大动作值作为预测的动作值；
$Q_{t+1}(s,a) = Q_t(s,a)+a(r_{t+1}+g*max(Q_t(s',a'))-Q_t(s,a))$

预期sarsa:根据e贪婪策略，将下一个状态$s'$的状态值作为预测的动作值；
$Q_{t+1}(s,a) = Q_t(s,a)+a(r_{t+1}+g*\sum_{a'∈A(s')}π(a'|s')*Q_t(s',a')-Q_t(s,a))$

3､性能分析

1､Sarsa 和预期 Sarsa 都是异同策略 TD 控制算法。在这种情况下，我们会根据要评估和改进的相同（e贪婪策略）策略选择动作。

2､Sarsamax 是离线策略方法，我们会评估和改进（e贪婪）策略，并根据另一个策略选择动作。

3､既定策略 TD 控制方法（例如预期 Sarsa 和 Sarsa）的在线效果比新策略 TD 控制方法（例如 Sarsamax）的要好。

4､预期 Sarsa 通常效果比 Sarsa 的要好。

5､Q 学习的在线效果更差（智能体在每个阶段平均收集的奖励更少），但是能够学习最优策略，以及Sarsa 可以获得更好的在线效果，但是学到的是次最优“安全”策略。