RL-Zhao-(4)-モデルに基づく: ① 値の反復 (値は状態値ではなく、1 ステップで計算されます)、② 戦略の反復 (値は状態値であり、ベルマンの無限ステップで計算されます)式）、③切り捨て戦略の繰り返し【妥協案①②】

1. 値反復アルゴリズム

以下のように、ベルマン最適性方程式を解くにはどうすればよいでしょうか?

$$で=f\left(v\right)=\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }v)$$
前の内容によると、短縮マッピング thcorerin を使用して反復アルゴリズムを使用して解決できることがわかりました。

$${で}_{k+1}=f\left(v_k\right)=\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_k)、k=1、2、3、...$$

• 其中初始值 ${で}_0$は任意の値です。
• このアルゴリズムは、最終的に最適な状態値と最適なポリシーを発見できます。
• このアルゴリズムは値の反復と呼ばれます。

1. 値反復アルゴリズムの詳細なプロセス

$${で}_{k+1}=f\left(v_k\right)=\underset{円周率}{\mathrm{最大}}\left(r_{\pi }+\gamma P_{\pi }{で}_k\right)、k=1、2、\mathrm{3...}$$

これは 2 つの部分に分けることができます。

• ステップ 1: policy update、電流範囲を設定します
  $${円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_k)$$
  其中${で}_k$当然のことです

• ステップ 2: value update
  $${で}_{k+1}=r_{{円周率}_{k+1}}+\gamma P_{{円周率}_{k+1}}{で}_k$$
  问题： ${で}_k$それは状態の値ですか? もちろんそうではありません。

  • 上の式からわかるように、式の左辺は ${で}_{k+1}$、方程式の右辺は ${で}_k$、決定できないため ${で}_k$ベルマン方程式を満たします。
  • 方程式の左辺も ${で}_k$ の場合、 ${で}_k$は状態値です。
  • ${で}_k$上の式では、値またはベクトルを表すだけであり、任意の値を使用できますが、状態値を表すものではありません。

次に、アルゴリズムを実装する目的で要素ごとの形式を検討します。

• 行列ベクトル形式は理論解析に適しています
• 要素ごとの形式はアルゴリズムの実装に適しています

ステップ1: ポリシーの更新

要素ごとの形式から:
$${円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}\left(r_{\pi }+\gamma P_{\pi }{で}_k\right)$$
即ち：
$${円周率}_{k+1}\left(s\right)=\arg \underset{円周率}{\mathrm{最大}}\sum _{ある}\pi (a|s)\underset{q_k(s,a)}{\underbrace{\left(\sum _{r}p(r|s、a)r+c\sum _{s^{』}}p(s^{\text{'}}|s,a)v_k\left(s^{\text{'}}\right)\right)}}、s\in S$$
滑らかで滑らかな方程式の変換
$${円周率}_{k+1}\left(a|s\right)=\{\begin{array}{ll}1& ある={ある}_k^{\ast }\left(s\right)\\ 0& ある\ne {ある}_k^{\ast }\left(s\right)\end{array}$$

其中${ある}_k^{\ast }=arg{\mathrm{最大}}_a{q}_k(a,s)$${円周率}_{k+1}$ は、最大の q 値が単純に選択されるため、greedy policy と呼ばれます。

ステップ2: 値の更新

要素ごとの形式:

$${で}_{k+1}=r_{{円周率}_{k+1}}+\gamma P_{{円周率}_{k+1}}{で}_k$$
即ち：
$${で}_{k+1}\left(s\right)=\sum _{ある}{円周率}_{k+1}(a|s)\underset{q_k(s,a)}{\underbrace{\left(\sum _{r}p(r|s、a)r+c\sum _{s^{』}}p(s^{\text{'}}|s,a)v_k\left(s^{\text{'}}\right)\right)}}、s\in S$$
その他 ${円周率}_{k+1}$ は貪欲です。上記の方程式は次のように簡略化できます:
$${で}_{k+1}\left(s\right)=\underset{ある}{\mathrm{最大}}{q}_k\left(a,s\right)$$

• 对应$q_k$最大的 $a$ の $円周率=1$，其他的 $a$ の $円周率=0$；
• ${で}_{k+1}$就是$q_k$の最大値。

プロセスの概要:

$${で}_k\left(s\right)\to q_k(s,a)\to \text{ 貪欲なポリシー }{\pi }_{k+1}(a|s)\to \text{ 新しい 値 }{v}_{k+1}=\underset{ある}{\max }{q}_k(s,a)$$

2. 例

例: 報酬設定は次のとおりです: $r_{boundaり}=r_{fまたはbidden}=-1、r_{target}=1$。折率 (割引率) $c=0.9$，目标是 $s_4$。

q-table：アクション値 $q(s,a)$ 的表达式如下：

当 $k=0$时：

初開始化、令 ${で}_0\left(s_1\right)={で}_0\left(s_2\right)={で}_0\left(s_3\right)={で}_0\left(s_4\right)=0$，q-table如下：

ステップ1： ポリシーの更新:

$${円周率}_1\left(a_5|s_1\right)=1、{円周率}_1\left(a_3|s_2\right)=1、{円周率}_1\left(a_2|s_3\right)=1、{円周率}_1\left(a_5|s_4\right)=1$$
ポリシーの更新は次のとおりです。

Step2：値の更新

$${で}_1\left(s_1\right)=0、{で}_1\left(s_2\right)=1、{で}_1\left(s_3\right)=1、{で}_1\left(s_4\right)=1$$

当 $k=1$时：

因為我们有：${で}_1\left(s_1\right)=0、{で}_1\left(s_2\right)=1、{で}_1\left(s_3\right)=1、{で}_1\left(s_4\right)=1$、新しい q テーブルを取得します:

ステップ1: ポリシーの更新

$${円周率}_2(a_3|s_1)=1、{円周率}_2\left(a_3|s_2\right)=1、{円周率}_2\left(a_2|s_3\right)=1、{円周率}_2\left(a_5|s_4\right)=1$$
戦略の更新は次の図に示すようになります。

注: 現在の戦略はすでに最適化されています。

ステップ2: 値の更新

$${で}_2\left(s_1\right)=\gamma 1、{で}_2\left(s_2\right)=1+\gamma 1、{で}_2\left(s_3\right)=1+\gamma 1、{で}_2\left(s_4\right)=1+\gamma 1$$

当$k=2、3、\dots$,当 $||v_k-{で}_{k+1}||$ 事前定義されたしきい値を下回った場合に停止します。

2. ポリシー反復アルゴリズム

1. 戦略反復アルゴリズムのプロセスの概要

ランダムな初期戦略が与えられた場合 ${円周率}_0$、

• ステップ 1: ポリシー評価 (PE)、このステップでは ${円周率}_k$状態値
  $${で}_{{円周率}_k}=r_{{円周率}_k}+\gamma P_{{円周率}_k}{で}_{{円周率}_k}$$
  注: ${で}_k$は状態値関数です

• ステップ 2: 策略改善 (ポリシー改善、Pl)
  $${円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_{{円周率}_k})$$
  最大化はコンポーネントごとに行われます。

仕様:
$${円周率}_0\stackrel{の上}{\to }{で}_{{円周率}_0}\stackrel{パ私}{\to }{円周率}_1\stackrel{の上}{\to }{で}_{{円周率}_1}\stackrel{パ私}{\to }{円周率}_2\stackrel{の上}{\to }{で}_{{円周率}_2}\stackrel{パ私}{\to }\dots$$

2. 関連する問題

• Q1: ポリシー評価ステップで状態値を取得する方法 ${で}_{{円周率}_k}$ベルマン方程式を解くことによって？
• Q2: ポリシー改善ステップにおいて、新しいポリシーが ${円周率}_{k+1}$ ${円周率}_k?$
• Q3: なぜこのような反復アルゴリズムが最終的に最適なポリシーに到達できるのでしょうか?
• Q4: このポリシー反復アルゴリズムと以前の値反復アルゴリズムの間にはどのような関係がありますか?

質問 1: ポリシー評価ステップで、ベルマン公式を解いて状態値を取得する方法。${で}_{{円周率}_k}$

$${で}_{{円周率}_k}=r_{{円周率}_k}+\gamma P_{{円周率}_k}{で}_{{円周率}_k}$$

• 閉じた形式の解 (特定の関数解、仕様):
  $${で}_{{円周率}_k}=(私-\gamma P_{{円周率}_k}{)}^{-1}{r}_{{円周率}_k}$$
• 反復解:
  $${で}_{{円周率}_k}^{(j+1)}=r_{{円周率}_k}+\gamma P_{{円周率}_k}{で}_{{円周率}_k}^{\left(j\right)}、j=0、1、2、...$$
  • 给定 $\pi$ の条件下で、反復法を使用して状態値を解きます。
  • ポリシーの反復は、ポリシー評価ステップに別の反復アルゴリズムが組み込まれた反復アルゴリズムです。

質問 2: ポリシー改善ステップで、新しいポリシーが ${円周率}_{k+1}$ ${円周率}_k$良い？

質問 3: ポリシー反復アルゴリズムが最終的に最適なポリシーを見つけることができるのはなぜですか?

反復するたびに戦略が徐々に最適化されるため、
$${で}_{{円周率}_0}\le {で}_{{円周率}_1}\le {で}_{{円周率}_2}\le ...\le {で}_{{円周率}_k}\le ...\le {で}^{\ast }$$
其结果就是 ${で}_{{円周率}_k}$ は増加し続け、最終的には収束します。タワーが ${で}^{\ast }$。

質問 4: ポリシーの反復と値の反復の間にはどのような関係がありますか?

値反復アルゴリズムとポリシー反復アルゴリズムは、切り捨てられたポリシー反復アルゴリズムの両極端です。

3. 戦略反復アルゴリズムの詳細プロセス

Step1：政策評価【ベルマンの公式を解く】

在 $\pi$ 特定の状況下では、 繰り返し ベルマンの公式を解き、${で}_{{円周率}_k}^{\ast }$

• 行列ベクトル形式:
  $${で}_{{円周率}_k}^{(j+1)}=r_{{円周率}_k}+\gamma P_{{円周率}_k}{で}_{{円周率}_k}^{\left(j\right)}、j=0、1、2、...$$
• 要素ごとの形式：
  $$\begin{array}{rl}{あなた}_{{円周率}_k}^{(j+1)}\left(s\right)& =\sum _{ある}{円周率}_k(a|s)\left(\sum _{r}p(r|s、a)r+c\sum _{s^{』}}p(s^{\text{'}}|s,a)v_{{円周率}_k}^{\left(j\right)}\left(s^{\text{'}}\right)\right)、s\in S、\end{array}$$

次の時点で停止します $j\to \infty$ または $j$ が十分に大きい、または $|v_{{円周率}_k}^{(j+1)}-{で}_{{円周率}_k}^{\left(j\right)}\Vert$ は十分に小さいです。

Step2: ポリシーの改善

前のステップに基づく ${で}_{{円周率}_k}$

• 行列ベクトル形式:
  $$\begin{array}{r}{円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_{{円周率}_k})\end{array}$$
• 要素ごとの形式:
  $$\begin{array}{r}{円周率}_{k+1}\left(s\right)=\arg \underset{円周率}{\mathrm{最大}}\sum _{ある}\pi (a|s)\underset{q_{{円周率}_k}(s,a)}{\underbrace{\left(\sum _{r}p(r|s、a)r+c\sum _{s^{』}}p(s^{\text{'}}|s,a)v_{{円周率}_k}\left(s^{\text{'}}\right)\right)}}、s\in S\end{array}$$
  这里，$q_{{円周率}_k}\left(s,a\right)$是基于策略${円周率}_k$ のアクション値。令
  $${ある}_k^{\ast }\left(s\right)=arg\underset{ある}{\mathrm{最大}}{q}_{{円周率}_k}\left(a,s\right)$$
  那么、貪欲なポリシー あり< /span>
  $${円周率}_{k+1}\left(a|s\right)=\{\begin{array}{llc}1& ある={ある}_k^{\ast }\left(s\right)& \\ 0& ある\ne {ある}_k^{\ast }\left(s\right)& \end{array}$$

4. 例01

• 奖励设定 (reward setting) 是$r_{boundaり}=-1$さらに$r_{target}=1$、折扣率 (割引率) $c=0.9$；
• アクション: ${ある}_l、{ある}_0、{ある}_r$それぞれ左、そのまま、右を意味します
• Arm: ポリシーの反復を使用して最適なポリシーを見つける

当 $k=0$时：

ステップ 1: ポリシーの評価

如图 (a), ${円周率}_0$が初期戦略です。ベルマン方程式は次のとおりです。

$$\begin{gathered} {で}_{{円周率}_0}\left(s_1\right)=-1+\gamma v_{{円周率}_0}\left(s_1\right) \\ {で}_{{円周率}_0}\left(s_2\right)=0+\gamma v_{{円周率}_0}\left(s_1\right) \end{gathered}$$

• 直接求解等式：
  $${で}_{{円周率}_0}(s_1)=-10、{で}_{{円周率}_0}(s_2)=-9$$
• 方程式を繰り返し解きます。初期推定を${で}_{{円周率}_0}^{\left(0\right)}\left(s_1\right)={で}_{{円周率}_0}^{\left(0\right)}\left(s_2\right)=0:$
  $$\begin{array}{rlrlr}& \{\begin{array}{l}{で}_{{円周率}_0}^{\left(1\right)}\left(s_1\right)=-1+\gamma v_{{円周率}_0}^{\left(0\right)}\left(s_1\right)=-1、\\ {で}_{{円周率}_0}^{\left(1\right)}\left(s_2\right)=0+\gamma v_{{円周率}_0}^{\left(0\right)}\left(s_1\right)=0、\end{array}& & & \\ & \{\begin{array}{l}{で}_{{円周率}_0}^{\left(2\right)}\left(s_1\right)=-1+\gamma v_{{円周率}_0}^{\left(1\right)}\left(s_1\right)=-1.9、\\ {で}_{{円周率}_0}^{\left(2\right)}\left(s_2\right)=0+\gamma v_{{円周率}_0}^{\left(1\right)}\left(s_1\right)=-0.9、\end{array}& & & \\ & \{\begin{array}{l}{あなた}_{{円周率}_0}^{\left(3\right)}\left(s_1\right)=-1+c{y}_{{円周率}_0}^{\left(2\right)}\left(s_1\right)=-2.71,\\ {あなた}_{{円周率}_0}^{\left(3\right)}\left(s_2\right)=0+c{y}_{{円周率}_0}^{\left(2\right)}\left(s_1\right)=-1.71、\end{array}& & & \\ & ...& & & \\ & ...& & & \end{array}$$

ステップ 2: ポリシーの改善

$q_{{円周率}_k}\left(s,a\right)$ の表示例：

用 ${で}_{{円周率}_0}\left(s_1\right)=-10、{で}_{{円周率}_0}\left(s_2\right)=-9$ と $c=0.9$ 带入之后,得到：

通过选择 $q_{{円周率}_0}$ 的最大值，the improved policy 是：

$${円周率}_1\left(a_r|s_1\right)=1、{円周率}_1\left(a_0|s_2\right)=1$$

新策略 ${円周率}_1$ 以下の図に示すように:

1 回の反復の後、戦略は最適化されます。特定の実装では、特定の評価基準が満たされるまで反復プロセスを継続する必要があります。

5. 例02

複雑な例:$r_{boundaり}=-1、r_{fまたはbidden}=-10$さらに$r_{target}=1$、折扣率 (割引率) $c=0.9$ では、これらの中間ポリシーとステータスの値を確認できます。

目標に近い状態戦略が最初に良くなり、目標から遠い状態戦略が後から良くなることがわかります。

• 特定の状態$s_i$、最大のアクション値を持つアクションを選択するとき、それはこの状態の次の状態に大きく依存します$s_j$、たとえ $s_i$ アクション値が最も大きいものを選択します $s_j$それも意味がありません。
• しかし、$s_i$$s_j$ でターゲットに到達できる場合、 $s_i$到着を選択$s_j$行動すればプラスの報酬を得ることができます。
• 即当$s_i$周囲に到達可能なターゲット状態がない場合、$s_i$次のステップをどのように選択しても、目標には到達できません。$s_i$周囲にターゲットに到達できる状態がある場合、$s_i$アップデートを通じて目標を達成することもできます。

3. 切り詰められたポリシー反復アルゴリズム

第一、比较 値の反復 と ポリシーの反復：

• ポリシーの反復: 初期ポリシーから${円周率}_0$始める：

  • ポリシー評価 (PE):
    $$\begin{array}{rl}{で}_{{円周率}_k}& =r_{{円周率}_k}+\gamma P_{{円周率}_k}{で}_{{円周率}_k}\end{array}$$
  • ポリシーの改善 (Pl):
    $${円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_{{円周率}_k})$$

• 値の反復: 値から${で}_0$始める：

  • ポリシー更新 (PU):
    $${円周率}_{k+1}=arg\underset{円周率}{\mathrm{最大}}(r_{\pi }+\gamma P_{\pi }{で}_k)$$
  • 値の更新 (VU):
    $${で}_{k+1}=r_{{円周率}_{k+1}}+\gamma P_{{円周率}_{k+1}}{で}_k$$

具体的には、ポリシー反復のデフォルト値:
$$\begin{array}{rclc}& & \text{ポリシーの反復:}{円周率}_0\stackrel{の上}{\to }& {で}_{{円周率}_0}\stackrel{パ私}{\to }{円周率}_1\stackrel{の上}{\to }{で}_{{円周率}_1}\stackrel{パ私}{\to }{円周率}_2\stackrel{の上}{\to }{で}_{{円周率}_2}\stackrel{パ私}{\to }\dots \\ & & \text{値の反復:}& {で}_0\stackrel{パウ}{\to }{円周率}_1^{\text{'}}\stackrel{VU}{\to }{で}_1\stackrel{パウ}{\to }{円周率}_2^{\text{'}}\stackrel{VU}{\to }{で}_2\stackrel{パウ}{\to }\dots \end{array}$$

これら 2 つのアルゴリズムのステップを詳細に比較してください。

• 同じ初期条件から始まります
• 最初の 3 つの手順は同じです
• ステップ 4 では次のように異なります。
  • ポリシーの反復における解${で}_{{円周率}_1}=r_{{円周率}_1}+\gamma P_{{円周率}_1}{で}_{{円周率}_1}$反復アルゴリズムが必要です (反復回数は無制限)
  • 値の反復では、${で}_1=r_{{円周率}_1}+\gamma P_{{円周率}_1}{で}_0$は 1 ステップの反復です。

値の定義 ${で}_{{円周率}_1}=r_{{円周率}_1}+\gamma P_{{円周率}_1}{で}_{{円周率}_1}$ベルマン反復アルゴリズムのステップ:

• 値反復アルゴリズムは、1 つのステップを反復的に計算します。
• ポリシー反復アルゴリズムは無限のステップを反復的に計算します。
• 切り捨てられたポリシー反復アルゴリズムは、有限数の反復を計算します（$j$)。残りは $j$ 到 $\infty$ の反復は切り捨てられます。

分析する

質問 1: この切り捨ては収束を弱めますか?

次の図に示すように、値の反復、ポリシーの反復、および切り捨てられたポリシーの反復の関係を示しています。

例: 初期戦略は、すべての状態で所定の位置にとどまることです

定義 $||v_k-{で}^{\ast }||$ 是在时刻 $k$ の状態値エラー。停止基準は $||v_k-{で}^{\ast }|||<;0.01$ 仿真结果如下：

”切り捨てられたポリシーの繰り返し - $x$“，其中 $バツ=1、3、4、100$ は、ポリシー評価ステップのベルマン アルゴリズムの反復に対応します $x$ 次。

• 「Truncated-policy iteration-1」: 各反復のポリシー評価ステップでベルマン反復アルゴリズムを実行するときに、1 回の反復のみで計算されることを示します${で}_{{円周率}_j}^1$この政策評価の最終結果として、
• "Truncated-policy iteration-3": ベルマン反復アルゴリズムが、各反復のポリシー評価ステップで 3 回反復することによってのみ計算されることを示します。${で}_{{円周率}_j}^3$この政策評価の最終結果として、
• "Truncated-policy iteration-6": ベルマン反復アルゴリズムが各反復のポリシー評価ステップで 6 回の反復のみで計算されることを示します${で}_{{円周率}_j}^6$この政策評価の最終結果として、
• "Truncated-policy iteration-100": ベルマン反復アルゴリズムが、各反復のポリシー評価ステップで 100 回反復することによってのみ計算されることを示します。${で}_{{円周率}_j}^{100}$この政策評価の最終結果として、

上の図によると、結論は次のようになります。

• 当 $x$ が大きいほど、より速く収束できます。
• 但是当 $x$ は増加し続け、この加速率は徐々に遅くなります。
• 実際のアプリケーションでは、ポリシー評価ステップのベルマン アルゴリズムは非常に少数の反復のみを実行します (1 つのステップを反復して計算するだけではなく、あまりにも多くのステップを計算しないでください。1 つのステップよりもいくつか多くのステップを計算する場合) 、より大きなメリットが得られます。);