集中学習ノート-12 資格追跡

前回の記事では、TD アルゴリズムが MC と Bootstrap を組み合わせたものであり、非常に優れた特性を備えていると説明しました。このセクションで紹介する適格性トレースの考え方は、複数の TD(n) によって計算された推定累積リターンを加重平均し $G_{t:t+n}$ 、より良い累積リターン推定値を取得するというものです。

$G_t^{\lambda }=(1-\lambda )\sum_{n=1}^{\infty }\lambda^{n-1}G_{t:t+n}=(1-\lambda )\sum_ {n=1}^{Tt-1 }\lambda^{n-1}G_{t:t+n} + \lambda^{Tt-1}G_{t:T}$

価値推定モデルのパラメータ更新式は次のように調整できます。

$w_{t+1}=w_t + \alpha [G_t^\lambda -v(s_t|w_t)]\partial v(s_t|w_t)$

1. オフライン λ リターン

式からわかるように、各時間 t の値はエピソードの終了後に計算する必要がある $G_t^\ラムダ$ ため、MC アルゴリズムと同様に、モデルのパラメーターはエピソード中に更新されないため、このアルゴリズムはオフと呼ばれます。行 λ -return アルゴリズム。

式の観点から、λ リターンアルゴリズムは、 $\ラムダ$ 値を調整することで到達する TD(1) ～ TD(n) の中間状態とみなすことができます。あの時 $\ラムダ =0$ 、この時 $G_t^\lambda =G_{t:t+1}$ 、TD(1)です。あの $\ラムダ=1$ 時、この時 $G_t^\lambda =G_{t:T}$ 、それは MC アルゴリズムでした。

下の図は、オフライン λ リターンアルゴリズムと TD アルゴリズムの効果を比較したもので、特に $\アルファ$ 値が高く、n が比較的小さい場合、λ リターンアルゴリズムの効果が優れていることがわかります。 TD アルゴリズム。

2. TD(λ)

オフライン λ リターンと比較して、TD(λ) には 3 つの主なアップグレードがあります。

TD(λ) はエピソード中に t ごとに更新できるため、モデルのトレーニングが高速化されます。
TD(λ) の計算は、エピソードの終了後に均一に計算されるのではなく、エピソード中の各時間 t で均等に分散されます。
TD(λ) は連続シナリオで使用でき、 $G_t^\ラムダ$ オフライン λ リターンの計算は最終状態である必要があり、それ以外の場合は計算できません。

TD(λ) は、各エピソードの開始時に適格性トレースベクトルを初期化します。 $z_t$

$z_t=\gamma \lambda z_{t-1} + \partial_w v(s_t|w_t), z_{-1}=\text{0}$

価値推定モデルのパラメータ更新式は次のように調整できます。

$w_{t+1}=w_t + \alpha \delta_t z_t,\ \delta_t=R_{t+1} + \gamma v(s_{t+1}, w_t)-v(s_t|w)$

この式から、TD(λ) が実際には勾配更新を追加する際の運動量であることが直感的にわかります。これは、運動量オプティマイザーの考え方と似ています。 $\アルファ$ 下の図は TD(λ) とオフライン λ リターンアルゴリズムを比較したもので、TD(λ) が大きい場合には TD(λ) の効果が劣り、 $\アルファ$ 小さい場合にはその効果が大きくなることがわかります。2は近いです。

3. オンライン λ リターンアルゴリズム

一部の連続シーン (最終状態がない) では、オフライン λ リターンを直接計算するのは困難です。切り捨てられた λ リターンメソッドは、固定ウィンドウ h によって切り捨てられます。このとき、更新するエピソードの終わり。

$G_t^{\lambda }=(1-\lambda )\sum_{n=1}^{ht-1 }\lambda^{n-1}G_{t:t+n} + \lambda^{ht-1 }G_{t:T}、\ h \leq T$

この考えに基づいて、オンライン λ リターンアルゴリズムは、エピソード中の時間 t の現在の状況に応じて、切り捨てられた λ リターンを通じてモデルパラメーターを更新できます。現在エピソードの時間 h であると仮定すると、この時点で次の更新プロセスが実行されます。

$\left\{\begin{行列} w_1^h=w_0^h+\alpha [G_{0:h}^\lambda -v(s_0|w_0)]\partial v(s_0|w_0) \\ ... \ \w_{t+1}^h=w_{t}^h+\alpha [G_{t:h}^\lambda -v(s_t|w_t)]\partial v(s_t|w_t) \\... \ \ w_{h}^h=w_{h-1}^h+\alpha [G_{h-1:h}^\lambda -v(s_{h-1}|w_{h-1})]\partial v(s_{h-1}|w_{h-1}) \end{行列}\right。$

h 回のパラメータ更新は、エピソードの h 時点でのみ行われていることがわかります。オフライン法と比較して、Online λ-return アルゴリズムの計算量は指数関数的に向上しますが、下図の効果比較から、オンライン λ リターンアルゴリズムこの方法はオフライン方法よりも優れています。