Aprendizaje por refuerzo: gradientes de políticas

La idea del método de gradiente de estrategia.

  Solíamos expresar políticas en forma de tablas antes, pero ahora también podemos expresar políticas en funciones. Todos los métodos aprendidos antes se denominan basados ​​en valores y el siguiente se denomina basado en políticas. A continuación, echemos un vistazo a la idea del método de gradiente de estrategia. Las estrategias aprendidas antes están todas expresadas en tablas, como sigue:

  Ahora, cambiamos la tabla a una función, luego $La\; escritura\; de\; \pi$ también cambiará, así:

Entre ellos,$\theta$ es un vector que se puede usar para representarπ πLos parámetros en la función$\pi \; .$

  La diferencia entre tablas y funciones es la probabilidad de obtener una acción. El formulario de tabla busca directamente la tabla a través del índice, pero usar la función será un poco problemático, no puede ir directamente al índice, necesita calcular el π correspondiente ( a ∣ s , θ ) π(a $\pi (un|s,yo)$

  La diferencia entre las representaciones de tablas y funciones también está en la forma en que se actualiza la política. Puede modificar directamente los valores en la tabla en la tabla. Cuando se expresa como una función parametrizada, la política $\pi$ solo se puede modificar modificando el parámetro$\theta$ para actualizar la política.

.La
idea del método del gradiente de la estrategia:
  cuando se representa mediante una función, estableceremos alguna función objetivo escalar $J\left(\theta \right)$ , optimizando la función objetivo para que la estrategia$\pi$ alcanza el óptimo, de la siguiente manera:

Selección de la función objetivo escalar

  Arriba sabemos que necesitamos establecer una función objetivo escalar, entonces, ¿qué es la función objetivo escalar? En general, comúnmente usamos dos tipos de funciones objetivo escalares.

  El primero es el valor promedio del valor de estado , o simplemente llamado valor promedio, que en realidad es un promedio ponderado del valor de estado, como sigue:

$\bar{v}$ es el promedio ponderado del valor estatal
$d\left(s\right)$ representa el estado$La\; probabilidad\; de\; que\; s$ sea seleccionado

La forma anterior también se puede escribir en una forma más concisa, que es el producto interno de dos vectores:

.

  Entonces, ¿cómo elegimos $¿Qué\; pasa\; con\; d\left(s\right)$ ? Tenemos dos situaciones, una es$d$和$\pi$ no importa, es$d$和$\pi$ está relacionado.

  cuando $d$和$Cuando\; \pi$ no tiene relación, usamos d 0 d_0respectivamente$d_{}$和${\overline{Pi}}_{}$significa que también podemos tomar la distribución uniforme $d_{}\left(s\right)=1/|S|=1/n$ , si un cierto estado es más importante, entonces podemos aumentar su peso.

  cuando $d$和$Cuando\; \pi$ tiene una relación, el método comúnmente utilizado es elegir una distribución estable, de la siguiente manera:

El
  segundo es el valor promedio de las recompensas instantáneas, que es un promedio ponderado de las recompensas instantáneas, de la siguiente manera:

Lo anterior es la primera forma de recompensa, y a menudo vemos otra forma de recompensa, como sigue:

Entre ellos, asumimos que seguimos una estrategia dada y generamos una trayectoria, y obtenemos una serie de recompensas $(R_{t+},R_{t+},...)$ ; después de ejecutar un número infinito de pasos,$s_{}$Ya no importa, así que pon $s_{}$eliminado
_

  Anteriormente introdujimos los métodos de selección de las dos funciones objetivo escalares, y luego hacemos un resumen adicional de estos dos escalares:
  1. Todos son estrategias π πFunción de$\pi$
  2. Estrategia$\pi$ tiene la forma de una función cuyo parámetro es$\theta$ , diferente$\theta$ obtendrá diferentes valores
  3, puedes encontrar el$\theta$ para maximizar el valor del escalar
   4,${\bar{r}}_{}$与${\bar{v}}_{}$son equivalentes, y cuando uno de ellos está optimizado, el otro también está optimizado. En el factor de descuento $C<1$是，有${\bar{r}}_{}=(1-c){\bar{v}}_{}$

Resolución de gradiente de políticas

   Después de obtener un escalar de política, calcule su gradiente. Luego, se aplican métodos basados ​​en gradientes para la optimización, donde el cálculo de gradientes es una de las partes más complejas. Eso es porque, antes que nada, necesitamos distinguir entre diferentes ${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{Pi}^{}$; En segundo lugar, debemos distinguir entre con descuento y sin descuento. El cálculo del gradiente, aquí daremos una breve introducción.

$J\left(\theta \right)$ puede ser${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{Pi}^{}$;
$\eta$ es la distribución de probabilidad o peso
"=" puede representar igualdad estricta, aproximación o proporcional a

${\bar{v}}_{}$，${\bar{r}}_{}$，${\bar{v}}_{Pi}^{}$La fórmula del gradiente correspondiente es la siguiente:

Análisis
de la fórmula del gradiente:
   podemos escribir la fórmula anterior de la siguiente manera:

$Sobedecea\; ladistribución$ η$Aobedecea\; \pi (A|S,\theta )distribución$

¿Por qué necesitamos tal fórmula? Esto se debe a que el gradiente real contiene el $E$ , espero$E$ no se conoce, por lo que podemos aproximarlo mediante muestreo para optimización, de la siguiente manera:

Nota complementaria:
   porque es necesario calcular $ln\pi (un|s,\theta )$ , entonces los requisitosπ$\pi (un|s,yo)>0$ , cómo garantizar que todos$\pi$ para todo$a$ es todo mayor que 0? Use la función softmax para la normalización, de la siguiente manera:

Entonces, p pLa expresión de$\pi$

$h(s,un,\theta )$ es otra función, generalmente obtenida por una red neuronal.

Ascenso de gradiente y REFORZAR

   La idea básica del algoritmo de ascenso de gradiente es que el gradiente real tiene el $E$ , por lo que el gradiente real se reemplaza por un gradiente aleatorio, pero también hay un$q_{}(s,a)$ Estrategia inmediata$Se\; desconoce\; el\; valor\; de\; acción\; real\; correspondiente\; a\; \pi$ De igual manera, usamos un método para aproximar o$q_{}$Para el muestreo, el método es combinar con MC——reforzar, de la siguiente manera:

.Usamos
gradientes aleatorios en lugar de gradientes reales, entonces, ¿cómo hacemos variables aleatorias $(S,A)$ ¿Qué pasa con el muestreo? Primero a$S$ se muestrea porque$Sobedece\; a\; ladistribución\eta$ , que requiere una gran cantidad de datos, y es difícil lograr un estado estable en la realidad, por lo que generalmente no se considera en la práctica. ¿Qué hay de$¿Qué\; pasa\; con\; una$ muestra? Como$Aobedecea\; \pi (A|S,\theta )distribución$ , por lo tanto, en$s_{}$Debe estar de acuerdo con la estrategia $\pi \left(\theta \right)$对$a_{}$Tome una muestra. Todos los gradientes de política aquí pertenecen al algoritmo de política.

La comprensión del algoritmo

requiere $un{segundo}_{}$es menor, se puede encontrar que $b_{}$Capaz de equilibrar el descubrimiento de algoritmos y la utilización de datos. Porque $b_{}$与$q_{}(s_{},a_{})$ es proporcional, por tanto, cuando$q_{}(s_{},a_{})$ es más grande$b_{}$también será relativamente grande, lo que significa ${Pi}_{}(s_{},a_{})$ tiene una mayor probabilidad de ser seleccionado. $b_{}$与$\pi ({un}_{}|s_{},i_{})$ es inversamente proporcional, por lo tanto, cuando$b_{}$较大时$\pi ({un}_{}|s_{},i_{})$ será relativamente pequeño, lo que significa que si elijo${Pi}_{}(s_{},a_{})$ es relativamente pequeño, dale una mayor probabilidad de elegirlo en el siguiente momento.

当$b_{}>0$时，esto es$\pi ({un}_{}|s_{},\theta )$ Algoritmo de gradiente ascendente, hay:

cuando$b_{}<0$时，esto es$\pi ({un}_{}|s_{},\theta )$ Algoritmo de descenso de gradiente, existen:

.

algoritmo de refuerzo

   用$q_{}(s_{},a_{})$ para reemplazar aproximadamente$q_{}(s_{},a_{})$，$q_{}(s_{},a_{})$ se obtiene por el método de Monte Carlo, es decir, de$(s_{},a_{})$ comience a obtener un episodio y luego asigne el retorno de este episodio a$q_{}$, este es el algoritmo de refuerzo.

Algoritmo
de refuerzo, su pseudocódigo es el

siguiente $Para\; k$ iteraciones, primero seleccione un$state$ según la estrategia actual$pag\left({yo}_{}\right)$ interactúa con el entorno para obtener un episodio, y tenemos que revisar cada elemento de este episodio. Luego opere en cada elemento, que se divide en dos pasos. El primer paso es actualizar el valor, que consiste en utilizar el método de Monte Carlo para estimar$q_{}$，从$(s_{},a_{})$ para sumar todas las recompensas obtenidas posteriormente. El siguiente paso es la actualización de políticas, el qt q_tque se obtendrá$q_{}$Sustituir en la fórmula para actualizar $i_{}$, y finalmente tomar el θ T θ_T final obtenido$i_{}$Como un nuevo $i_{}$Realizar actualizaciones iterativas.