强化学习笔记-11 Off-policy Methods with Approximation

前几章我们讨论了off-policy方式，其同on-policy方式最大的不同之处在于其在训练所采取的动作，是根据behavior policy进行决策的，而不是根据target policy。这种方式的好处在于兼顾了exploitation and exploration。本节将讨论如何通过模型近似的方式来应用off policy强化学习。

1. Importance sampling

off-policy策略一个很大问题在于target policy和behavior policy之间存在偏差，这个偏差可以通过重要性采样来扭正：

$\rho_t = \frac{\pi(A_t|S_t)}{b(A_t|S_t)}$

$G_t^{\pi}(s) =\rho_t G_t^{b}(s)=(\prod_{i=0}^{n-1} \rho_{t+i})G_{t:t+n}^{b}(s)$

此时之前的价值模型的参数更新公式：

$w_{t+1}=w_t + \alpha \rho_t (G_t-v(s|w))\partial_w v(s|w)\\ =w_t + \alpha (\prod_{i=0}^{n-1} \rho_{t+i}) (G_{t:t+n}-v(s|w))\partial_w v(s|w)\\ =w_t + \alpha (\prod_{i=0}^{n-1} \rho_{t+i})\delta_t \partial_w v(s|w)$

这里的 $\delta_t$ 可以通过上一节所根据TD(0) VS TD(n)以及discounted rewards VS average rewards分别进行设置：

TD(0) discounted rewards： $\delta_t = r_{t+1} + \gamma Q(s_{t+1}, a_{t+1}|w)-Q(s_t, a|w)$
TD(n) discounted rewards： $\delta_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1} + \gamma^n Q(s_{t+n}, a_{t+n}|w)-Q(s_t, a|w)$
TD(0) average rewards： $\delta_t = r_{t+1} - r_t+ Q(s_{t+1}, a_{t+1}|w)-Q(s_t, a|w)$
TD(n) average rewards： $\delta_t = \sum_{i=0}^{n-1} (r_{t+i+1} - r_t)+ Q(s_{t+n}, a_{t+n}|w)-Q(s_t, a|w)$