強化学習: ポリシーの勾配

戦略勾配法の考え方

  以前はポリシーをテーブルの形式で表現していましたが、関数でポリシーを表現することもできるようになりました。以前に学習したすべての方法は値ベースと呼ばれ、次の方法はポリシーベースと呼ばれます。次に、戦略勾配法の考え方を見てみましょう。以前に学習した戦略はすべて、次のように表で表現されます。

  次に、表を関数に変更し、次に$\pi$の書き方も以下のように変わります。

このうち、$\theta$は、 π π を表すために使用できるベクトルです。$関数\pi$のパラメーター

  テーブルと関数の違いは、アクションを取得する確率です。テーブル形式はインデックスを介してテーブルを直接参照しますが、関数を使用するのは少し面倒です。インデックスに直接行くことはできず、対応する π ( a ∣ s , θ ) π(a $\pi (a|s,私）$

  テーブル表現と関数表現の違いは、ポリシーの更新方法にもあります。テーブル内のテーブルの値を直接変更できます。パラメータ化された関数として表現される場合、ポリシー$\pi \; は$パラメータ$\theta$をクリックしてポリシーを更新します。

戦略
勾配法の考え方:
  関数で表すと、あるスカラー目的関数$J\left(\theta \right)$、戦略$\pi \; は$次のように最適値に達します。

スカラー目的関数の選択

  上記で、スカラー目的関数を確立する必要があることがわかりました。では、スカラー目的関数とは何でしょうか? 一般に、2 種類のスカラー目的関数をよく使用します。

  最初の値は状態値の平均値、または単に平均値と呼ばれます。これは実際には次のように状態値の加重平均です。

$\bar{v}$は状態値d ( s ) d(s)の加重平均です。
$d\left(s\right)$は状態$s$が選択される

上記の形式は、次の 2 つのベクトルの内積である、より簡潔な形式で記述することもできます

。

  では、$d\left(s\right)$はどうでしょうか？状況は 2 つあり、1 つは$d$和$\pi は$関係ない、$d$和$\pi$が関係してきます。

  いつ$d$和$\pi$に関係がない場合は、それぞれ$d_{}$和${\overline{円周率}}_{}$これは、一様分布d 0 ( s ) = 1 / ∣ S ∣ = 1 / n d_0(s)=1/|S|=1/n も取れることを意味します。$d_{}\left(s\right)=1/|S|=1/n$、特定の状態がより重要な場合は、その重みを増やすことができます。

  いつ$d$和$\pi$に関係がある場合、一般的に使用される方法は、次のように安定した分布を選択することです:2 番目は、

次
  のような瞬間報酬の加重平均である瞬間報酬の平均値です

上記は最初の報酬の形式ですが、次のような別の報酬の形式もよく見られます。 その中で

、与えられた戦略に従って軌道を生成し、一連の報酬を得ることができると仮定します$(R_{t+}、R_{t+}、...)$ ; 無限数のステップを実行した後、$s_{}$もうどうでもいいので最後に$s_{}$削除されました
。

  上で 2 つのスカラー目的関数の選択方法を紹介しました。次に、これら 2 つのスカラーについてさらに要約します。
  1. これらはすべて戦略$\pi$の関数
  2. 戦略$\pi$はパラメータがθ \thetaである関数の形式です$\theta$、異なる$\theta \; は$さまざまな値を取得します
  3、最適な$\theta \; を$使用してスカラー
   4、${\bar{r}}_{}$与${\bar{v}}_{}$は同等であり、一方が最適化されると他方も最適化されます。割引係数では$c<1$です、${\bar{r}}_{}=(1-c){\bar{v}}_{}$

ポリシー勾配解決

   ポリシー スカラーを取得したら、その勾配を計算します。次に、勾配ベースの手法が最適化に適用されます。勾配の計算は最も複雑な部分の 1 つです。それは、まず第一に、異なるv ˉ π \bar v_πを区別する必要があるからです。${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{円周率}^{}$; 次に、割引済みと割引なしを区別する必要があります。勾配の計算について、ここで簡単に説明します。

$J\left(\theta \right)$はv ˉ π \bar v_πになります。${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{円周率}^{}$;
$\eta$は分布確率または重みです。
「=」は厳密な等価、近似、または比例を表すことができます。

${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{円周率}^{}$対応する勾配式は次のとおりです:

.
勾配式分析:
   上記の式は次のように記述できます。

$S\; は\eta 分布に従う$;$Aは\pi (A|S,\theta )分布$

なぜこのような式が必要なのでしょうか? これは、実際の勾配には予想される$E$ ，而期望 $E$は不明なので、次のように最適化のためのサンプリングによって近似できます。

補足：ln π ( a ∣ s , θ ) lnπ(a|s,\theta) を
   計算する必要があるため$ln\pi (a|s,\theta )$、したがって、要件π$\pi (a|s,私）>0$ 、すべてのπ πを保証する方法すべてのaaは$\pi$$a$はすべて0より大きいですか？次のように、正規化にはソフトマックス関数を使用します。

それで、$\pi$の式は

$h(s、、\_\theta )$は別の関数で、通常はニューラル ネットワークによって取得されます。

勾配上昇と強化

   勾配上昇アルゴリズムの基本的な考え方は、実際の勾配には期待される$E$なので、実際の勾配はランダムな勾配で置き換えられますが、$q_{}(s、a)$ 即策略 $\pi$に対応する実際のアクション値は不明ですが、同様にq π q_πを近似する方法を使用します。$q_{}$サンプリングの場合は、次のように MC —— 強化を組み合わせて行う方法です。

実際の勾配の代わりにランダムな勾配を使用します。では、確率変数 ( S , A ) (S,A) を作成するにはどうすればよいですか$(S、A)$サンプリングについてはどうですか? まずは$S$はη 分布に従うため、S がサンプリング$S\; は\eta 分布に従うが$、これには大量のデータが必要であり、現実には安定な状態を実現することが困難であるため、実際には一般に考慮されない。AAはどうですか$A$サンプリングについてはどうですか？A は π ( A ∣ S , θ ) 分布に従うため、$Aは\pi (A|S,\theta )分布$、したがって$s_{}$戦略$\pi \left(\theta \right)$对${ある}_{}$サンプルを採取してください。ここでのすべてのポリシー勾配は、オンポリシー アルゴリズムに属します。

アルゴリズムの理解にはα β t \alpha\beta_t

が必要です$ab{\_}_{}$が小さい場合、 β t \beta_tであることがわかります。$b_{}$アルゴリズムの発見とデータ利用のバランスをとることができます。なぜなら$b_{}$与$q_{}(s_{}、{ある}_{})$は比例するため、$q_{}(s_{}、{ある}_{})$の方が大きい$b_{}$も比較的大きくなります。つまり、${円周率}_{}(s_{}、{ある}_{}）$が選ばれる確率が高くなります。$b_{}$与$\pi ({\_}_{}|s_{}、{私}_{})$は反比例するため、$b_{}$较大時刻$\pi ({\_}_{}|s_{}、{私}_{})\; は$比較的小さくなります。つまり、${円周率}_{}(s_{}、{ある}_{})$が比較的小さいため、次の瞬間にそれを選択する確率が高くなります。

現在$b_{}>0$のとき、これは$\pi ({\_}_{}|s_{}、\theta )$勾配上昇アルゴリズムには次のものがあります:β t < 0 \beta_t<0

の場合$b_{}<0$のとき、これは$\pi ({\_}_{}|s_{}、\theta )$勾配降下法アルゴリズムには、次のものがあります

。

強化アルゴリズム

qt ( st , at ) q_t(s_t,a_t)   を使用します。$q_{}(s_{}、{ある}_{})$を近似的に$q_{}(s_{}、{ある}_{})$，$q_{}(s_{}、{ある}_{})$はモンテカルロ法、つまり$(s_{}、{ある}_{})$エピソードの取得を開始し、このエピソードのリターンを$q_{}$、これが強化アルゴリズムです。

強化
アルゴリズム、その擬似コードは

次のとおりです$k$回の反復では、最初に初期状態 state現在の戦略に従った$状態$$\pi$$($ θ k ) π(\theta$\_k$$)$$p\left({私}_{}\right)$は環境と対話してエピソードを取得し、このエピソードの各要素を確認する必要があります。次に、各要素を 2 つのステップに分けて操作します。最初のステップは、値の更新を行うことです。これは、モンテカルロ法を使用して$q_{}$，从$(s_{}、{ある}_{})$後で取得したすべての報酬を合計します。次のステップはポリシーの更新であり、取得される$q_{}$式に代入して${私}_{}$、そして最終的に最終的な${私}_{}$新たな${私}_{}$反復的な更新を実行します。