TD 预测：TD(0)
- 虽然蒙特卡洛 (MC) 预测方法必须等到阶段结束时才能更新值函数估值，但是时间差分 (TD) 方法在每个时间步之后都会更新值函数。
- 对于任何固定策略，一步 TD（或 TD(0)）保证会收敛于真状态值函数，只要步长参数 \alphaα 足够小。
- 在实践中，TD 预测的收敛速度比 MC 预测得要快。
TD 预测：动作值
-（在此部分，我们讨论了估算动作值的 TD 预测算法。和 TD(0) 算法相似，该算法保证会收敛于真动作值函数，只要步长参数 \alphaα 足够小。）
TD 控制：Sarsa(0)
- Sarsa(0)（或 Sarsa）是既定策略 TD 控制方法。它保证会收敛于最优动作值函数 q_*q∗，只要步长参数 \alphaα足够小，并且所选的 \epsilonϵ 满足有限状态下的无限探索贪婪算法 (GLIE) 条件。
TD 控制：Sarsamax
- Sarsamax（或 Q 学习）是一种新策略 TD 控制方法。它会在保证 Sarsa 算法会收敛的相同条件下保证收敛于最优动作值函数 q_*q∗。
TD 控制：预期 Sarsa
- 预期 Sarsa 是一种新策略 TD 控制方法。它会在保证 Sarsa 和 Sarsamax 算法会收敛的相同条件下保证收敛于最优动作值函数 q_*q∗。
在以下情况下，我们讨论过的所有 TD 控制算法（Sarsa、Sarsamax、预期 Sarsa）都会收敛于最优动作值函数 q_*q∗（并生成最优策略 \pi_*π∗）：(1)\epsilonϵ 的值根据 GLIE 条件逐渐降低，以及 (2) 步长参数 \alphaα 足够小。
这些算法之间的区别总结如下：
- Sarsa 和预期 Sarsa 都是异同策略 TD 控制算法。在这种情况下，我们会根据要评估和改进的相同（\epsilonϵ 贪婪策略）策略选择动作。
- Sarsamax 是离线策略方法，我们会评估和改进（\epsilonϵ 贪婪）策略，并根据另一个策略选择动作。
- 既定策略 TD 控制方法（例如预期 Sarsa 和 Sarsa）的在线效果比新策略 TD 控制方法（例如 Sarsamax）的要好。
- 预期 Sarsa 通常效果比 Sarsa 的要好。