4. 強化学習 - モデル自由制御

このコースのすべての内容は、最終的にこの講義の内容に集中します。この講義の学習を通じて、まったく未知の環境でより適切にタスクを完了し、できるだけ多くの報酬を獲得できるようにエージェントをトレーニングする方法を学びます。 . .
前回の講義では主にモデルが不明な場合の予測方法について説明しました。いわゆる予測とは、 与えられた戦略を評価すること、つまり、与えられた戦略の下で状態 (または状態と動作のペア) の価値関数を決定することです 。この講義の内容は主に、 モデルの未知の条件下で価値関数を最適化する方法について です(モデル非依存制御とも呼ばれます)。

モデルの下での戦略の反復

一般的なポリシー反復の中核は、2 つの交互のプロセス間のポリシーの最適化です。1 つのプロセスは戦略評価であり、もう 1 つは改善戦略です。
動的計画法アルゴリズムを使用して戦略を改善するには、特定の状態の後続のすべての状態と状態間の遷移確率を知る必要があることに注意してください。
$${円周率}^{}\left({}^s\right)\_=\underset{a\in A}{アールマックス\_\_\_}{R}_s^{}+P_{ss{\_}^{』}}^{}V(s^{）}\_$$

• モデルフリーのポリシー反復の場合
  、この方法はモデル不明のモンテカルロ学習に適していますか? 答えはノーで、少なくとも 2 つの問題があります。1 つは、モデルが不明な場合、現在の状態のその後のすべての状態を知ることは不可能であるため、現在の状態でどのような動作がより適切であるかを判断することは不可能であるということです。この問題を解決する方法は、状態と動作のペアの下で値$Q(s,a)$状態値の代わり:
  この目的は、モデル全体を知らなくても戦略を改善することです。特定の状態でどのような動作が最大の値を持つかを知ることだけが必要です。具体的には、最初の Q とポリシー$\pi$から開始して、最初にこの戦略に従って各状態と動作のペアの$Q(s,a)$値、s は、改良された貪欲アルゴリズムによって更新された Q に基づいて決定されます。
  それでも、少なくとも 1 つ問題があり、貪欲なアルゴリズムを使用して毎回戦略を改善すると、サンプリングの経験が不十分なために次善の戦略につながる可能性が非常に高いため、時々試行する必要があります。いくつかの新しい動作、これは探索です。

Ɛ-貪欲な探索 (MC-コントロール)

Ɛ-貪欲探索の目標は、特定の状態で考えられるすべての動作が、実行のために選択される一定の非ゼロの確率を持つことを保証することです。これにより、継続的な探索が保証されます。1 $1-ϵ$およびϵ \epsilonの確率に基づいて現在最良と考えられる動作を選択します。すべての可能なアクション (現在最適なアクションを含む) の中から$ϵを選択する確率。$数式は次のとおりです。
$$\pi (a|s)=\{\begin{array}{ll}ϵ/メートル+1-ϵ& \text{ もし }{\_}^{\ast }=\underset{a\in A}{アールマックス\_\_\_}Q(s,）\_\\ ϵ/& \end{array}$$
m はアクションの総数です。

$ϵ貪欲な$戦略改善定理:
任意の$ϵ-グレーディ戦略$π$\backslash$ pi$\_$$\_$$\_$$\pi$に関しては、対応する$q_{}$得られた$ϵ-グレー戦略\pi$ '$\text{'}$ \$pi$$\text{'}$${円周率}^{\text{'}\; は}$π \piにあります$\pi$に関する戦略の改善$v_{{円周率}^{}}\left(s\right)\ge v_{}\left(s\right)$

証明:
https://zhuanlan.zhihu.com/p/54272316 を参照してください。
もちろん、上記の参考リンクは不完全で欠陥があると感じますので、改善します:導入ϵ − ソフト − 貪欲 \epsilon-
ここは柔らかいです。$ϵ-柔らかい\_\_\_-greedy$概念。これは、すべての状態とアクションについて、π ( a ∣ s ) ≥ ϵ m \pi(a | s) \geq \frac{\epsilon}{m} を$意味します。$$\pi (a|s)\ge \frac{}{メートル}$、ここで、$ϵ>0$ ϵ −$ϵ-greedy$属$人間$$ϵ-柔らかい\_\_\_-greedy$
、 ppt の加重平均値の最大加重合計を決定します
$$\begin{array}{rl}{q}_{}(s、{円周率}^{\text{'}}\left(s\right)\_& =\underset{a\in A}{}{円周率}^{\text{'}}(a|s\left)q_{}\right(s、）\_\\ & =ϵ/メートル\underset{a\in A}{}{q}_{}(s、）\_+(1-)\_\underset{a\in A}{}{q}_{}(s、）\_\\ & \ge ϵ/メートル\underset{a\in A}{}{q}_{}(s、）\_+(1-)\_\underset{a\in A}{}\frac{\pi (a|s)-\frac{}{メートル}}{1-ϵ}{q}_{}(s、）\_\\ & =\underset{a\in A}{}\pi (a|s\left)q_{}\right(s、）\_=v_{}(s\end{array}$$
以上の最もとらえどころのない起源は、次の方法で証明されます。ϵ − Soft \epsilon-soft
によると$ϵ-sft$関数、$\pi$$\pi (a|s)\ge \frac{}{メートル}$,無限にπ $\pi (a|s)=\frac{}{メートル}+$自由関数$の維持$
$$\pi (a|s)=\{\begin{array}{ll}1-ϵ-(m-1)D+\frac{}{メートル}& \text{ 貪欲な行動のために }\\ \frac{}{メートル}+& \text{ すべての非 }\end{array}$$
ここでは次のように仮定されます。

1. m-1 個の非貪欲アクションがあり、1 個の貪欲アクションがあり、$\pi (a|s)$の合計= 1 であるため、貪欲なアクションの場合、$\pi (a|s)$ :
   $$1-ϵ+m/ϵ-(m-1)D$$
2. さらに、すべての非貪欲 Q(s,a) 値は、非貪欲における最大の Q 値$q_{}$; 貪欲なアクションの Q 値は$q_{}$max ⁡ a ∈ A q π ( s , a ) = qm \max _ { a \in \mathcal { A } } q _ { \pi } ( s , a ) = q _ { m }
   $$\underset{a\in A}{}{q}_{}(s、）\_=q_{}$$
   つまり下の式：
   $$\begin{array}{rl}\underset{a\in A}{}\frac{\pi (a|s)-\frac{}{メートル}}{1-ϵ}{q}_{}(s、）\_& <=\frac{(1-ϵ-\Delta m\_\_+D+\frac{}{メートル}）-\frac{}{メートル}}{1-ϵ}{q}_{}+\frac{\left(\frac{}{メートル}+D\right)-\frac{}{メートル}}{1-ϵ}{q}_{}(m-1)\\ & =\frac{(1-ϵ-\Delta m\_\_+D)q_{}+D(m-1)q_{}}{1-ϵ}\\ & =\frac{(1-ϵ)q_{}-D(m-1)q_{}+D(m-1)q_{}}{1-ϵ}\\ & =q_{}+D(m-1)(q_{}-q_{}）\\ & <=q_{}=\underset{a\in A}{}{q}_{}(s、）\end{array}$$
   上記は$q_{}(s、{円周率}^{\prime }(s))$比$v^{\pi }\left(s\right)$v π ' ( s ) v^{\pi'}(s) であることは証明されません。$v^{{円周率}^{\prime }}(s)$比$v^{\pi }\left(s\right)$は大きいので、もう一度公開します:
   $$\begin{array}{rl}{Q}^{\pi }(s,{円周率}^{\text{'}}(s)\_& =E[r_{t+}+V^{\pi }(s_{t+})|s_{}=、\_{ある}_{}={円周率}^{\text{'}}\left(s_{}\right)]\\ & <=E[r_{t+}+Q^{\pi }(s_{t+}、{円周率}^{\text{'}}\left(s_{t+}\right))|s_{}=、\_{ある}_{}={円周率}^{\text{'}}\left(s_{}\right)]\\ & =E[r_{t+}+r_{t+}+V^{\pi }(s_{t+})|.。。。]\\ & <=E[r_{t+}+r_{t+}+Q^{\pi }(s_{t+}、{円周率}^{\text{'}}\left(s_{t+}\right))|。。。。]\\ & 。。。。。。\\ & <=V^{{円周率}^{}}({}^{{}^s}\end{array}$$
   それは上の式で完全に証明されます: $v^{{円周率}^{}}\left({}^{{}^s}\right)\_\ge v^{\pi }\left(s\right)$。
   上記の 2 つの問題を解決すると、最終的に、戦略の評価に Q 関数を使用し、戦略を改善するために Ɛ 貪欲探索を使用するという、モンテカルロ制御の全体像が見えてきます。この方法は、最終的には最適なポリシーに収束できます。
   
   図の上向きまたは下向きの矢印はそれぞれ、複数のエピソードに対応します。つまり、通常、複数のエピソードを経験した後、Q 機能の更新や戦略の改善を順次実行します。実際、エピソードごとに Q 機能を更新したり、戦略を改善したりすることもできます。しかし、どの手法を使用しても、Ɛ-greed 探索計算では、常に特定の戦略に基づいて近似 Q 関数のみを取得できます。アルゴリズムは常に探索しているため、終了条件がありません。したがって、私たちは次の 2 つの側面に注意を払う必要があります: 一方で、より良い情報とステータスを失いたくない一方で、戦略が向上するにつれて、最終的には最適な戦略に到達したいと考えます。なぜなら、実際には、最適な戦略にはランダムな動作の選択が含まれるべきではないからです。この目的のために、別の理論的概念であるGLIE。

GLIE(無限の探求と限界への貪欲さ)

このアルゴリズムの考え方は、限られた時間の中で無限の可能性を探求することです。具体的なパフォーマンスは次のとおりです。

1. 経験されたすべての状態とアクションのペアは無限に探索されます。
2. さらに、探索が無限に拡張されると、貪欲アルゴリズムの Ɛ 値は 0 になる傾向があります。たとえば、$ϵ=1/k$ (k は探索されたエピソードの数) の場合、貪欲なモンテカルロ コントロールは GLIE 特性を持ちます。

GLIE に基づくモンテカルロ制御プロセスは次のとおりです。

GLIE に関する定理: GLIE モンテカルロ制御は最適な状態挙動値関数に収束することができます。つまり、$Q(s,a)\; は$q ∗ ( s , a ) q_{*}(s,a)に収束します$q_{}(s、）\_$(証拠を補足するために関連する論文を見つけてください)

TDコントロール

オンポリシー TD コントロール

前の講義で述べたように、TD には MC に比べて、分散が小さい、オンラインでのリアルタイム学習、不完全なエピソード学習など、多くの利点があります。
では、制御問題に対して MC 学習の代わりに TD 学習を使用できないか、と考えるのは自然なことではないでしょうか。答えは「はい」です。これは後述する SARS です。

ソース

SARSA の名前は、以下の図に示されているシーケンス記述に由来しています: 状態 S と特定の行動 A に対して、状態と行動のペア (S, A) が生成され、環境と相互作用します。行動を分析すると、個人の直接の報酬 [式] とその後に入る状態 S' がわかります。その後、個人は既存の戦略に従って行動 A' を生成し、次の状態と行動のペア (S') の値 Q を取得します。 、A') を現在の状態の動作値関数 (S',A') に基づいて作成し、この Q(S',A') 値を使用して前の状態の動作の値を Q(S,A) に更新します。
アルゴリズムのフローチャートを以下に示します:

より直観的な説明は次のとおりです: エージェントは特定の状態 S にあり、そこではさまざまな動作を試行できます。特定の戦略に従う場合、現在の戦略に基づいて選択します。行動 A、個人は実際にこの行動を実行し、実際に環境と対話します。環境はその行動に応じて即座に報酬 R を与え、次の状態 S' に入ります。この後続の状態 S' では、現在の戦略に従います。 A'、このとき、個人はその行動を実行しませんが、現在の状態-行動値関数を通じて (S', A') 状態-行動ペアの値を取得し、これを使用します個人の状態 S と組み合わせて行動 A を取るための値。得られた即時報酬は、状態 S で行動 A をとった個人の (状態) 行動値を更新します。

SARSA 戦略の疑似コード:

注:
1. アルゴリズムの Q(s,a) は大きなテーブルに格納されているため、大規模な問題を解決するのには適していません;
2. 各エピソードで、現在の動作に基づいた動作 A を使用します。 Q(S,A) 状態行動ペアを更新する価値サイクルにおいて、個人は実際には S' の下で A' 行動を実行するのではなく、エピソードで実際に発生する行動です。動作 A' から次のループ実行まで。つまり、実際には、A を A' に割り当てる疑似コードの最後の行は冗長です。これは、次の状態のアクションが次のループで選択され、次のループで値関数の新しいラウンドによって取得された戦略が実行されるためです。これがオンポリシーの意味で、現在値関数で得られたポリシーを利用して、今回のサイクルのアクション、更新値関数、次のサイクルの状態を選択し、次のサイクルの選択に新たな戦略を提供します。アクション。

SARSA の収束定理について: 以下の 2 つの条件が満たされると、Sarsa アルゴリズムは最適な動作値関数に収束します。
条件 1:いつでも戦略${円周率}_{}(a|s)$は GLIE 特性に準拠;
条件 2: ステップ係数${ある}_{}$满足：
$$\begin{array}{l}{\sum }_{t=1}^{}{ある}_{}=\infty \\ {\sum }_{t=1}^{}{ある}_t^{}<\end{array}$$
しかし、授業で教えられたことや経験によれば、上記の 2 つの条件が満たされない場合でも収束する可能性があります。

n步SARSA

TD( λ \lambdan ステップの報酬については$\lambda$

) で説明しました:同様のアイデアを SARSA で使用して、n ステップの Q リターンを定義できます:
$$q_t^{(n}=R_{t+}+\gamma R{\_}_{t+}+\dots +c^{n-1}{R}_{t+}+c^{nQ}\_\left(S_{t+}\right)$$
ここに$q_{}$状態と動作のペア$<s_{}、{ある}_{}>$は、特定の状態で特定のアクションを実行することの価値を表します。n=1 の場合、状態動作ペア$<s_{}、{ある}_{}>$ Q 値は 2 つの部分で表現でき、1 つは状態 st から出ることによって得られる$R_{t+}$、即時の報酬は状態にのみ関連し、その状態で行われる動作とは何の関係もありません。他の部分は、新しい状態の動作ペア$<s_{t+}、{ある}_{t+}>$ Q 値: 環境は個人に新しい状態を与える$s_{t+}$、$s_{t+}$状態は、+ 1 a_{t+1} での現在の戦略に基づいて取得された動作です。${ある}_{t+}$Q at $Q(s_{t+}、{ある}_{t+})$に続く Q 値は減衰係数を考慮します。n=2の場合$n=2$の場合、2 ステップ前進の即時報酬を使用し、それを新しい状態の Q 値に置き換えます ($n=\infty$、これは、エピソードの終了までの即時報酬を使用して Q 値が計算され、個人が終了状態に入り、終了状態の即時報酬を取得することを意味します。また、この定義式は状態と動作のペアの概念を反映していないため、前の n ステップ G ハーベストと混同され
やすいですが、実際には、Q 自体に動作、つまり、a に基づいて生成される動作が含まれています。現在の戦略における特定の状態。Q ハーベストと G ハーベストの間には一定の関係があり、ベルマン方程式と組み合わせて理解できます。

上記の定義を使用すると、n ステップ Sarsa は、次のように n ステップ Q ハーベストとして表現できます。
$$Q(S_{}、{あ}_{}）\leftarrow Q(S_{}、{あ}_{}）+ある\left(q_t^{(n}-Q\left(S_{}、{あ}_{}\right)\right)$$

SARSA( $l$ )

このときの q リターンを定義します。
$$q_t^{}=(1-l)\sum _{n=1}{私}^{n-1}{q}_t^{(n}$$
更新公式:
$$Q(S_{}、{あ}_{}）\leftarrow Q(S_{}、{あ}_{}）+ある\left(q_t^{}-Q\left(S_{}、{あ}_{}\right)\right)$$
将来の理解: これを使用して Q 値を更新するには、エピソード全体を走査する必要があります。以下の図に示すように:

逆理解の方法: TD(λ) の逆理解と同様に、Eligibility Trace の概念が導入されます。違いは、今回は E 値が状態ではなく、E 値であることです。状態。動作ペア:
$$\begin{array}{l}{E}_{}(s、）\_=0\\ E_{}(s、）\_=cl{E}_{t-}(s、）\_+1(S_{}=、\_{あ}_{}=）\end{array}$$
これは、結果と特定の状態-動作ペア、結果に最も近い状態-動作ペア、およびその前に頻繁に発生した状態-動作ペアが結果に最も大きな影響を与える間の因果関係を反映します。
次の式は$E_{}$SARS の概念( $\lambda$ ) 後の Q 値更新の説明:
$$\begin{array}{l}{d}_{}=R_{t+}+\gamma Q\_(S_{t+}、{あ}_{t+}）-Q(S_{}、{あ}_{}）\\ Q(s,）\_\leftarrow Q(s,）\_+ad{\_}_{}{E}_{}(s、）\end{array}$$
E t E_tの紹介$E_{}$概念、SARS( $\lambda$ ) を使用すると、エピソード全体を学習する必要がなく、使い終わったデータは破棄できるため、より効果的なオンライン学習が可能になります。$E_{}$通常、オンライン学習アルゴリズムでよく使用されます。
SARSA( $\lambda$ )アルゴリズムの疑似コードE t E_t

を反映します。$E_{}$1 つのエピソードでのみ機能します。そしてここでは、以前に経験されたすべての (s, a) が一度に更新されますが、SARSA は現在の状態と行動のペアの値関数のみを更新します。

ポリシー外

On-Policy Learning の特徴は、現在実行されている戦略が個人の学習向上のための戦略であることです。オフポリシー学習とは、ポリシー$別のポリシー\; \pi \; (\; a\; |s$ ) \pi(a|s)を評価しながら$\mu$$($$a\; |\; s$$)$$\pi (a|s)$ 、つまり、この別の戦略の下で$v_{}(s)$和$q_{}(s、a)$。どうしてそれをするの？この方法では、人間の経験や他の個人の経験から学ぶことが容易になるため、古い戦略から学ぶこともでき、2 つの戦略の長所と短所を比較することもできます。おそらく主な理由は、探索的な戦略に従い、既存の戦略を最適化することです。完全なエピソードを経験したかどうかに基づいて、モンテカルロベースと TD ベースに分けることもできます。

オフポリシーの重要性は、
1. 他のエージェントを観察することで学べる、
2. 過去の経験や古い戦略を利用できる、
3. 探索的戦略を通じて最適な戦略を学ぶ、
4. 戦略に従う際にさまざまなことが学べる、ということです。プレイ中の戦略。

重要なサンプリング

オフポリシーを使用する前に、次の重要度サンプリングについて理解しておく必要があります。
$$\begin{array}{rl}{E}_{X〜P\_}\left[f\right(X\left)\right]& =\sum P\left(X\right)f\left(X\right)\\ & =\sum Q\left(X\right)\frac{P(X}{Q\left(X\right)}f\left(X\right)\\ & =E_{X〜Q\_}\left[\frac{P(X}{Q\left(X\right)}f(X\right)\end{array}$$
つまり、異なる分布を使用して期待値を推定します。

MC 法の場合、分散が大きすぎるため、ラウンドの終わりまでサンプリングして 2 つの戦略間の違いを比較する必要があるため、通常、オフポリシー戦略は使用しません。Li Honyi による重要度サンプリングの説明に基づくと、過度の分散を持つ 2 つの分布は重要度サンプリングには適していないことがわかります。

TD のオフポリシー手法

オフライン ポリシー TD 学習のタスクは、TD メソッドを使用してポリシー$別のポリシー\; \pi \; (\; a\; |s$ ) \pi(a|s)を評価しながら$\mu$$($$a\; |\; s$$)$$具体的$に数学的に表すと、$V$$($$S$$t$$)$
$$\begin{array}{rl}V(S_{}& \leftarrow V(S_{}）+ある(\frac{円周率(A_{}|S_{}}{メートル(A_{}|S_{}）}\left(R_{t+}+\gamma V\_\left(S_{t+}\right)\right)-V\left(S_{}\right)\end{array}$$
注: ここでの V 関数は戦略$\pi$的！
この式は次のように説明できます。個人は状態$S_{}$、戦略$\mu \; は$アクション${あ}_{}$、この動作を実行した後、新しい状態$S_{t+}$では、現在の戦略の下で新しい状態の値に応じて元の状態の値を調整するにはどうすればよいでしょうか? オフライン戦略の方法は、状態$S_{}$別の戦略に従ってそれぞれ比較すると$\pi$と現在採用されている戦略$\mu \; は$動作${あ}_{}$戦略$\pi$によって得られる確率値は、$\mu$によって得られる確率値は$S_{t+}$更新する値$S_{}$の値は 2 つの戦略によって同時にサポートされており、この更新操作の方が説得力があります。また、状態$S_{}$の場合、2 つの戦略は近い確率の選択動作${あ}_{}$。この確率比が小さい場合、評価された戦略に従って${あ}_{}$可能性は非常に低いですが、現時点では$S_{}$値を検討するとき、現在の戦略に基づいて得られる状態$S_{t+}$の値。同様に、確率比が 1 より大きい場合、評価された戦略を依然として信じている人が多いことを意味します。これは、戦略が評価された経験を利用して、独自の戦略を更新することになります。

Qラーニング

重要な点は、状態と動作のペアの Q 値を更新するとき、現在使用されているポリシーに従う次の状態と動作のペアの Q 値ではなく、次の状態の Q 値であるということです。採用された戦略によって生成された評価対象の行動ペア。式は次のとおりです。
$$Q(S_{}、{あ}_{}）\leftarrow Q(S_{}、{あ}_{}）+ある\left(R_{t+}+\gamma Q\_(S_{t+}、{あ}^{）}\_-Q\left(S_{}、{あ}_{}\right)\right)$$
ここで、アクション${あ}_{t+}$戦略により$\mu$が生み出す、ターゲットアクション${あ}^{\text{'}}$戦略π \piにより$\pi$が生成されます。Q 学習を使用する場合は、V 値ではなく Q 値が使用されるため、重要度サンプリングを使用する必要はありません。
Q 学習の主な形式は次のとおりです。個人が従う戦略は、現在の状態の行動値関数$Q(s,a)$ ϵ$ϵ-グレー戦略、ターゲット$戦略は現在の状態の動作値関数Q ( s , a ) Q(s,a)$に$基づきます$。$$Q(s,a)$ ϵ \epsilonを含まない$ϵ$の単純な$gredy$ポリシー (ターゲット ポリシー$\pi$ \$pi$$\pi$）
$$円周率(S_{t+}）=\underset{{ある}^{』}}{アールマックス\_\_\_}Q\left(S_{t+}、{ある}^{\text{'}}\right)$$
このようにして、Q 学習の TD 目標値は大幅に簡略化できます。
$$\begin{array}{rl}& R_{t+}+\gamma Q\_(S_{t+}、{あ}^{）}\_\\ =& R_{t+}+\gamma Q\_(S_{t+}、\underset{{ある}^{』}}{arg\_}Q(S_{t+}、{ある}^{）}）\_\\ & R_{t+}+\underset{{ある}^{』}}{}\gamma Q\_(S_{t+}、{ある}^{）}\end{array}$$
Q値の更新式は次の形で書くことができます。このように、 S t S_t
の状態では、$S_{}$依拠$ϵ-greedy\; は$ポリシーに従い、A t A_t$の動作を取得します。$${あ}_{}$Q の値はS t + 1 S_{t+1}に向けられます。$S_{t+}$状態の最大Q値の方向は一定の割合で更新されます。このアルゴリズムは貪欲さを貪欲にすることができます$グレーディ戦略$π$\backslash$ pi$\_$$\_$$\_$$\pi \; は$最終的に最適な戦略に収束します。個人は環境と対話するときに実際には$ϵ-十分に豊富$な新しい状態を確実に経験できるようにする、$高度$$な$$戦略$$。$

Q 関数の更新式は次のとおりです。
$$Q(S,あ）\leftarrow Q(S,あ）+ある\left(R+c\underset{{ある}^{』}}{}Q(S^{「、}」{ある}^{）}\_-Q(S,A)\right)$$
Q 学習のアルゴリズム擬似コードは次のとおりです。

定理: Q 学習は最適状態動作値関数に収束します:$Q(s,）\_\to q_{}(s、a)$。

DPとTDの関係をまとめる

次の 2 つの図は、さまざまな DP アルゴリズムとさまざまな TD アルゴリズムを要約し、さまざまなアルゴリズム間の違いと関連性も示しています。一般に、TD はサンプリング + データ ブートストラップ、DP は全幅 + 実際のデータです。ベルマン期待方程式の観点から見ると、反復政策評価 (DP) と TD 学習は国家自体の価値に焦点を当て、Q 政策反復 (DP) と SARSA は国家行動の価値関数に焦点を当てます。 ; 状態を見てみると 行動価値関数のベルマン最適化方程式の観点から見ると、Q 値反復 (DP) と Q 学習です。