机器学习-白板推导系列笔记（三十五）-DP

此文章主要是结合哔站shuhuai008大佬的白板推导视频：动态学习_108min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、策略迭代

（一）策略评估

已知MPP，$P(s^{\prime },r|s,a)$
给定$\pi$，求$V_{\pi }(\forall s\in S)$
记$$\begin{gathered} V_{\pi }={\left(\begin{array}{c}{V}_{\pi }(s_1)\\ V_{\pi }(s_2)\\ ⋮\\ V_{\pi }(s_{|S|})\end{array}\right)}_{|S|\ast 1}{r}_{\pi }={\left(\begin{array}{c}{r}_{\pi }(s_1)\\ r_{\pi }(s_2)\\ ⋮\\ r_{\pi }(s_{|S|})\end{array}\right)}_{|S|\ast 1} \\ {P}_{\pi }\triangleq [p_{\pi }(s,s^{\prime }){]}_{|S|\ast |S|} \end{gathered}$$
所以，$$\begin{gathered} V_{\pi }(s)=E_{\pi }[G_t|S_t=s] \\ =E_{\pi }[R_{t+1}+\gamma V_{\pi }(s_{t+1})|s_t=s] \\ =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{\pi }(s^{\prime })] \\ =\begin{array}{c}\underbrace{\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r}\\ (1)\end{array}+\begin{array}{c}\underbrace{\gamma \sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)V_{\pi }(s^{\prime })}\\ (2)\end{array} \end{gathered}$$
$$\begin{gathered} (1)=\sum _a\pi (a|s)\cdot \underset{r(s,a)\triangleq E_{\pi }[R_{t+1}|s_t=s,A_t=a]}{\underbrace{\sum _{r}rp(r|s,a)}} \\ =\sum _a\pi (a|s)\cdot r(s,a) \\ \triangleq r_{\pi }(s) \end{gathered}$$
$$\begin{gathered} (2)=\gamma \sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a)V_{\pi }(s^{\prime }) \\ =\gamma \sum _{s^{\prime }}\underset{P_{\pi }(s,s^{\prime })}{\underbrace{\sum _a\pi (a|s)p(s^{\prime }|s,a)}}{V}_{\pi }(s^{\prime }) \\ =\gamma \sum _{s^{\prime }}{P}_{\pi }(s,s^{\prime })V_{\pi }(s^{\prime }) \end{gathered}$$
于是，$$V_{\pi }(s)=r_{\pi }(s)+\gamma \sum _{s^{\prime }}{P}_{\pi }(s,s^{\prime })V_{\pi }(s^{\prime })$$

1.解析解

用矩阵的表达形式来解。

令$s_i\triangleq s,s_j\triangleq s^{\prime }$，得到：$$\begin{gathered} V_{\pi }(s_i)=r_{\pi }(s_i)+\gamma \sum _{j=1}^{|S|}{P}_{\pi }(s_i,s_j)V_{\pi }(s_j) \\ {V}_{\pi }=r_{\pi }+\gamma P_{\pi }{V}_{\pi } \\ (I-\gamma P_{\pi })V_{\pi }=r_{\pi } \\ {V}_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{r}_{\pi } \end{gathered}$$
复杂度为：$O(|S{|}^3)$

2.迭代解（数值解）

构造一个数列，让这个数列收敛于$V_{\pi }$，收敛性证明暂时不管。
lim ⁡ k → ∞ { V k } = V π \lim_{k\rightarrow\infty}\{V_k\}=V_\pi k→∞lim​{ Vk​}=Vπ​
我们根据贝尔曼方程就可以得到，$$V_{k+1}(s)\triangleq \sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_k(s^{\prime })]$$

（二）策略改进

策略改进对应的是贝尔曼最优方程。

1.策略改进定理

给定$\pi ,{\pi }^{\prime }$，如果$\forall s\in S,q_{\pi }(s,{\pi }^{\prime }(s))\ge V_{\pi }(s)$，那么则有$\forall s\in S,V_{{\pi }^{\prime }}(s)\ge V_{\pi }(s)$

证明：

$$\begin{gathered} \forall s\in S \\ (q_{\pi }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{\pi }(s^{\prime })]=E[R_{t+1}+\gamma V_{\pi }(s_{t+1})|s_t=s,A_t=a]) \end{gathered}$$
$$\begin{gathered} V_{\pi }(s)\le q_{\pi }(s,{\pi }^{\prime }(s)) \\ =E[R_{t+1}+\gamma V_{\pi }(s_{t+1})|s_t=s,A_t={\pi }^{\prime }(s)] \\ =E_{{\pi }^{\prime }}[R_{t+1}+\gamma V_{\pi }(s_{t+1})|s_t=s] \\ \le E_{{\pi }^{\prime }}[R_{t+1}+\gamma q_{\pi }(s_{(t+1)},{\pi }^{\prime }(s_{t+1}))|s_t=s] \\ =E_{{\pi }^{\prime }}[R_{t+1}+\gamma E_{{\pi }^{\prime }}[R_{t+2}+\gamma V_{\pi }(s_{t+2})|s_{t+1}]|s_t=s] \\ =E_{{\pi }^{\prime }}[R_{t+1}+\gamma E_{{\pi }^{\prime }}[R_{t+2}|s_{t+1}]+{\gamma }^2{E}_{{\pi }^{\prime }}[V_{\pi }(s_{t+2})|s_{t+1}]|s_t=s] \\ =E_{{\pi }^{\prime }}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{V}_{\pi }(s_{t+2})|s_t=s] \\ \cdots \\ \le E_{{\pi }^{\prime }}[\underset{G_t}{\underbrace{R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +\cdots }}|s_t=s] \\ =V_{{\pi }^{\prime }}(s) \end{gathered}$$

2.贪心策略

Greedy Policy:$\forall s\in S$,$${\pi }^{\prime }(s)=\underset{a}{\mathrm{argmax}}{q}_{\pi }(s,a)$$

$$\forall s\in S,V_{\pi }(s)\le \underset{a}{\max }{q}_{\pi }(s,a)=q_{\pi }(s,{\pi }^{\prime }(s))$$
由策略改进定理可知：$$\forall s\in S,V_{{\pi }^{\prime }}(s)\ge V_{\pi }(s)$$

If $V_{{\pi }^{\prime }}=V_{\pi }$,then $V_{{\pi }^{\prime }}=V_{\pi }=V_{\ast }$，证明如下：

$$\begin{gathered} V_{{\pi }^{\prime }}=V_{\pi }\to q_{{\pi }^{\prime }}=q_{\pi } \\ \forall s\in S,V_{{\pi }^{\prime }}(s)=\sum _a{\pi }^{\prime }(a|s)q_{{\pi }^{\prime }}(s,a) \\ =\sum _a{\pi }^{\prime }(a|s)q_{\pi }(s,a) \\ =q_{\pi }(s,{\pi }^{\prime }(s)) \\ =\underset{a}{\max }{q}_{\pi }(s,a) \\ =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{\pi }(s^{\prime })] \\ =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{{\pi }^{\prime }}(s^{\prime })] \end{gathered}$$
于是，
$$V_{{\pi }^{\prime }}(s)=\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{{\pi }^{\prime }}(s^{\prime })]$$
又因为：$$V_{\ast }(s)=\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V_{\ast }(s^{\prime })]$$
所以，$$V_{{\pi }^{\prime }}=V_{\ast }$$
即，$$V_{{\pi }^{\prime }}=V_{\pi }=V_{\ast }$$

二、价值迭代

是极端情况下的策略迭代，策略评估只进行一步，然后策略改进。

价值迭代虽然只走一步，但是还是会更新$S$中的所有状态。比价值迭代更简单的是就地策略迭代（异步策略迭代的特例），只选取$S$中的一个状态进行一步更新。

   \;
   \;
   \;
   \;
   \;

完结！！！再贴一下汇总贴：机器学习-白板推导系列笔记