Aprendizaje por refuerzo: aproximación de la función de valor

Importación de ejemplo

Vale la pena señalar que los valores de estado y los valores de acción    aprendidos anteriormente en realidad se expresan en forma de tablas. Su ventaja es que es fácil de entender y analizar intuitivamente, pero la desventaja es que es difícil de manejar. una gran cantidad de datos o estado continuo o espacio de acción. , manifestado en dos aspectos de capacidad de almacenamiento y generalización. como sigue:

   Para resolver los dos problemas anteriores, introducimos la aproximación de función de valor. Usamos un ejemplo para introducir la idea básica de la miopía de función de valor. Supongamos que existe un espacio de estado unidimensional $S=s_{},s_{},...,s_{}$, donde n es un número muy grande. Para cada estado $s_{}$, en la política π πHay un valor de estado correspondientev π ( si ) v_π(s_i)$bajo\; \pi$$v_{}\left(s_{}\right)$ , debido al gran número, podemos considerar expresar estos puntos uniformemente en forma de función, porque la función involucra menos parámetros.

   Primero, usamos la línea recta más simple para ajustar estos puntos, asumiendo que la ecuación de la línea recta es $\hat{v}(s,w)=uns+b$ , también se puede escribir en forma matricial,$w$ es un vector de parámetros,$\varphi \left(s\right)$ es el estadossEl vector propio de$s\; es\; el\; siguiente:$

Sabemos que si necesita almacenar nn en un formulario$n$ valores de estado. Ahora, solo necesitamos almacenar dos parámetros$a$ y$segundo$ _ Cada vez que usamos state$El\; valor\; de\; estado\; de\; s$ puede pasar por${\varphi }^T\left(s\right)w$calcula$\hat{v}$ . Pero esto trae el problema de que puede no representar con precisión el valor de estado, por lo que se llama aproximación de valor.
.La
   precisión del ajuste de línea recta no es suficiente, entonces podemos usar una función de curva de orden superior, la ventaja es que puede ajustarse mejor. La desventaja es que se requieren más parámetros. Tomemos el segundo orden como ejemplo, de la siguiente manera:

En este caso, $w$ y$La\; dimensión\; de\; \varphi \left(s\right)$ aumenta y la precisión del ajuste mejora, pero vale la pena señalar que,$\hat{v}(s,w)$ para$s$ no es lineal, pero para$w$ es lineal porque la parte no lineal está contenida en$\varphi \left(s\right)$中。

Principio de aproximación de función de valor y función objetivo

   A continuación, presentamos formalmente el principio de aproximación de la función de valor: Sea $v_{}\left(s\right)$ representa el valor del estado real,$\hat{v}(s,w)$ es la función utilizada para la aproximación. Nuestro objetivo es encontrar un parámetro óptimo$w$ , tal que$\hat{v}(s,w)$ capaz de ssen todos los estadosMejor aproximaciónv π ( s ) v_π(s)$en\; s$$v_{}\left(s\right)$ . Este problema puede verse como una evaluación de políticas, donde nuestro objetivo es evaluar el valor de un estado dada una política. Posteriormente, nos extenderemos a la mejora de políticas. Para encontrar el$w$ , necesitamos hacer dos pasos:
   definir la función objetivo: necesitamos construir una medida$\hat{v}(s,w)$与$v_{}Una\; medida\; de\; qué\; tan\; buena\; es\; una\; aproximación\; a\; (s)$ , cuantificando el error entre la aproximación y el valor verdadero.
   Derivación de un algoritmo para optimizar la función objetivo: Una vez que hemos definido la función objetivo, podemos desarrollar algoritmos para actualizar iterativamente los parámetros$w$ para mejorar en$v_{}\left(s\right)$ , minimizando el error.

.Definimos
   la función objetivo de la siguiente manera:

Nuestro objetivo es encontrar la mejor $w$ puede minimizar$J\left(w\right)$ . donde la expectativa es para una variable aleatoria$s\in S$ realizado. Entonces, ¿cuál es la distribución de probabilidad de S? Hay varias formas de definir una distribución de probabilidad sobre estados.

   La primera es muy intuitiva y la más fácil de pensar, la distribución promedio. Al establecer la probabilidad de que cada estado sea $1/norte$，$|S|=n$ , en este caso la función objetivo es:

La desventaja de esto también es obvia, porque cada estado puede no ser igualmente importante. Por ejemplo, la política rara vez puede acceder a algún estado. Por lo tanto, este enfoque no tiene en cuenta la dinámica real del proceso de Markov dada la política. La importancia de un estado se puede medir por su frecuencia de visitas en el proceso de Markov. Si rara vez se accede a un estado, puede contribuir menos al valor esperado. Por lo tanto, debemos considerar la probabilidad de acceso del estado al calcular la expectativa. Esto significa que necesitamos definir la distribución de probabilidad de los estados en términos de las probabilidades de transición de la cadena de Markov bajo una política dada. De esta manera, podemos ponderar la expectativa de acuerdo con la probabilidad de acceso del estado para reflejar con mayor precisión la dinámica real. En otras palabras, necesitamos considerar las probabilidades de transición de estado bajo una política dada para determinar la distribución real de estados y así calcular el valor esperado con mayor precisión.

Por
   lo tanto, el segundo método es una distribución estable (Distribución estacionaria). La distribución estable se refiere a la distribución en la que la distribución de probabilidad del estado permanece sin cambios después de un tiempo suficientemente largo en la cadena de Markov. Sea $\left\{{re}_{}\right(s){\}}_{s\in }$Expresado en póliza π πDistribuciones estables para procesos de Markov bajo$\pi \; .$Por definición,$d_{}\left(s\right)\ge 0$ , y${\sum }_{s\in }{d}_{}\left(s\right)=1$ , en este caso la función objetivo es:

Esta función es una función de error cuadrático ponderado. Dado que los estados visitados con frecuencia tienen mayor $d_{}\left(s\right)$ , por lo que también tienen un peso más alto en la función objetivo que los estados poco visitados. Este diseño ponderado puede hacer que la función preste más atención a aquellos estados que ocurren con frecuencia, porque tienen un mayor impacto en el rendimiento general del sistema. Mientras que para los estados poco visitados contribuyen menos a la función objetivo debido a sus pesos más bajos. Mediante el error cuadrático ponderado se tiene en cuenta la frecuencia de visita de los diferentes estados, de manera que los estados visitados con mayor frecuencia tienen un mayor peso en la función objetivo, reflejando así con mayor precisión el desempeño del sistema.

Entendamos
a través de un ejemplo. Damos una estrategia y luego establecemos un episodio muy largo para visitar cada estado, calculado de acuerdo con la siguiente fórmula:

El resultado final es el siguiente:

De hecho, todavía podemos obtener un valor similar al valor teórico sin correr muchas veces. La derivación es la siguiente:

${PAG}_{}$es la probabilidad de transición de estado, ${PAG}_{}=P(s^{\prime }|s)$, en el ejemplo anterior,${PAG}_{}$como sigue:

Por lo tanto, el vector propio de un valor propio se puede calcular:

.

Optimizar el algoritmo de la función objetivo

   Cuando se trata de optimización, nuestra primera reacción debe ser el método de gradiente, por lo que podemos obtener fácilmente la siguiente fórmula:

Encontramos que es necesario calcular una expectativa en la fórmula del gradiente. ¿Cómo podemos evitarlo? En la práctica, usamos el gradiente estocástico en lugar de la expectativa. La fórmula obtenida es la siguiente:

Pero el algoritmo anterior no es factible porque requiere un valor de estado real desconocido $v_{}$se estima, y $v_{}$Exactamente lo que necesitamos calcular, por lo tanto, podemos sustituir $v_{}\left(s_{}\right)$ . Tenemos dos métodos:

   Primero, use el algoritmo MC. vamos ${gramo}_{}$Para comenzar desde el estado st s_t en el episodio$s_{}$Iniciar devoluciones con descuento. Entonces, podemos usar ${gramo}_{}$para aproximar $v_{}\left(s_{}\right)$ . El algoritmo es como sigue:

   En segundo lugar, utilice el algoritmo de aprendizaje TD. Will $r_{t+}+C\hat{v}(s_{t+},w_{})$ como$v_{}\left(s_{}\right)$ , el algoritmo es el siguiente:

$\hat{v}$ selección

   Anteriormente, usamos una función $\hat{v}$ para aproximar$v_{}$, entonces $\stackrel{^\; ¿}{v}$ Cómo elegir el correcto? Básicamente, existen dos métodos:
   el primer método es usar el método lineal, que se usa ampliamente en el pasado:

  El segundo enfoque es la red neuronal ahora ampliamente utilizada como una función no lineal
.

análisis de ejemplo

  Tomemos como ejemplo un mundo de cuadrícula de 5x5, $r_{forbidde}=r_{límite\_\_\_\_\_}=-1$、$r_{objetivo\_\_\_\_}=1$ y$C=0.9$
  Primero, damos una estrategia: para cualquier$(s,a)$ , tenemosπ$\pi (un|s)=0.2$
  Nuestro objetivo es evaluar los valores de estado de esta política (problema de evaluación de políticas), luego hay 25 valores de estado en total, y a continuación mostraremos que estos valores de estado se pueden aproximar usando menos de 25 parámetros .

   De acuerdo con la estrategia dada, se obtienen 500 episodios, cada uno con 500 pasos, y se selecciona aleatoriamente un estado-acción para comenzar, sujeto a una distribución uniforme.

   Primero, calculamos el algoritmo TD basado en la forma de la tabla, y los resultados son los siguientes:

   Veamos si TD-Linear también puede estimar bien el valor del estado Primero, seleccionamos el vector propio y obtenemos la expresión, como sigue: Los

resultados son los siguientes:

Se puede comprobar que la tendencia obtenida es correcta, por lo que podemos utilizar una superficie de orden superior para ajustar. Primero, seleccionamos el vector propio y obtenemos la expresión, de la siguiente manera:

El resultado es el siguiente:

.

Sarsa + aproximación de función de valor

   poner $\hat{v}$ reemplazado por$q$, obtenga el algoritmo de Sarsa con aproximación de función numérica, de la siguiente manera:

De hecho, el algoritmo anterior está haciendo una evaluación de la estrategia. Para obtener la estrategia óptima, podemos combinar la evaluación de la estrategia y la estrategia de optimización. El pseudocódigo es el siguiente:

Q-learning + aproximación de función de valor

   Comparado con Sarsa, el $q(s_{t+},a_{t+},w_{})$换成$máx{.}_{un\in un(s_{t+}}q(s_{t+},a_{t+},w_{})$ , obtenga el algoritmo Q-learning con aproximación de función numérica, de la siguiente manera:

on-policy El pseudocódigo es el siguiente:

Q-aprendizaje profundo

   Deep Q-learning o deep Q-network (DQN) es el algoritmo más exitoso para introducir redes neuronales profundas en el aprendizaje por refuerzo. Entre ellos, el papel de la red neuronal es similar a una función no lineal. Su función objetivo es la siguiente:

   Este es en realidad el error de la ecuación óptima de Bellman, porque $R+\gamma ma{x}_{un\in un(s^{\prime }}q(s^{\prime },un,w)-q(S,un,w)$ debe tener un valor de cero.

   Con la función objetivo, el siguiente paso es optimizar la función: ¡descenso de gradiente! ¿Cómo calcular el gradiente de la función objetivo? Pero hay un problema Ambas partes de la función objetivo contienen parámetros $w$ , de la siguiente manera:

   La solución profunda de Q-learning es para$R+\gamma ma{x}_{un\in un(s^{\prime }}q(s^{\prime },un,w)$ se asigna a$y$ ，$y$ contiene$w$ , luego supongayywwen$y$$w$ es una constante. De la siguiente manera:

   Entonces, la función objetivo$J\left(w\right)$ es solo un$w$ , será relativamente simple resolver su gradiente A continuación, echemos un vistazo al método específico. Para realizar esta técnica, se introducen dos redes en DeepQ-learning.La primera red se denomina red principal y corresponde a$q(s,un,w)$ su argumento es$w$ ; La segunda red es la red objetivo, correspondiente a$q(s,un,w_{})$ , el parámetro es$w_{}$El subíndice T significa objetivo. Esta red principal es en realidad su $w$ se está actualizando todo el tiempo, es decir, cuando entran nuevas muestras en$w$ se actualizará, pero la red de destino no se actualiza todo el tiempo, actualizará$w$ se asigna para asignar para asignar. La fórmula obtenida es la siguiente:

primero supongamos$w_{}$es fijo, y luego para calcular $El\; gradiente\; de\; w$ y luego optimizaré$J.$ _ Supongamos que$w_{}$Es fijo, y usted puede sentir que esto es incomprensible. Pero la lógica aquí es asumir que hay un $w_{}$es quedarse quieto, luego puedo ir a actualizar $w$ , actualizado por un tiempo, y luego continúa actualizando este$w_{}$, así que finalmente $w_{}$suma $w$ puede converger al valor óptimo. Entonces, es fácil obtener su fórmula de gradiente:

Lo anterior es la idea básica de Deep Q-learning: utilizar el algoritmo de descenso de gradiente para minimizar la función objetivo. El proceso de optimización de Deep Q-learning no solo introduce dos redes, sino que también experimenta la reproducción.

   Entonces, ¿qué es la repetición de experiencia? Después de recolectar muestras empíricas, no las usamos en el orden en que fueron recolectadas, porque las almacenamos en un conjunto llamado búfer de reproducción búfer de reproducción B = { ( $B=\{(s,un,r,s^{\prime }\left)\right\}$Cada vez que entrenamos una red neuronal, extraemos aleatoriamente un pequeño lote de muestras del área de retrolavado para el entrenamiento. El proceso de extracción de muestras se denomina repetición de experiencia y la extracción debe seguir una distribución uniforme. Las razones para seguir una distribución uniforme son las siguientes:

$R:pags(R|S,A)$，$S^{\prime }:pag(S^{\prime }lS,A)$ ,$R$ y$S^{está}$ determinado por el modelo del sistema. Aquí ponemos$(S,A)$ como un índice, porque puede indicar qué comportamiento toma qué estado, entonces$(S,A)$ se considera como una única variable aleatoria, suponiendo que la distribución que se cumple es$(S,un):d$ ,dd¿ Cuál es la distribución de$d\; ?$Discutámoslo:
   Hay un problema que matemáticamente requiere$(S,A)$ es una distribución uniforme, pero debe haber una secuencia al recolectar datos, y se recolecta de acuerdo con otras distribuciones de probabilidad. Nuestro método es mezclar todas las muestras, romper la correlación entre muestras sucesivas y luego muestrear uniformemente sin discriminación.
.Ahora
damos el pseudocódigo de la versión fuera de política de Deep Q-learning:

Debido a que está fuera de la política, asumimos que ya existe una política de comportamiento ${Pi}_{}$, según esta estrategia, muestreamos una gran cantidad de muestras y colocamos estas muestras en un conjunto como un búfer de reproducción. El primer paso es muestrear aleatoria y uniformemente del búfer de reproducción; el segundo paso es $(s,a)$ Introduzca la red neuronal para calcular$y_{}$; El tercer paso es poner $(s,un,y_{})$ Este lote de datos se ingresa en la red neuronal para entrenamiento, para actualizar el parámetro$w$ ; Cuarto, no repita los pasos anteriores, cicle$Después\; de\; C$ veces ponerwwEl valor de$w$$w_{}$Solo actualiza $w_{}$。

Análisis profundo de casos de Q-learning

   Nuestro objetivo es encontrar todos los $(s,a)$ El correspondiente valor óptimo de acción. Después de obtener el valor estimado del valor de acción óptimo, la política óptima | codiciosa se puede obtener de inmediato.

Datos del caso:

1、只用一个 episode 来训练Deep Q-learning
2、这个episode是由一个探索性的 behavior policy所得到的，每个 action 的概率都是相同，都是 0.2。
3、这个 episode 只有 1000 步，相对来说数据量是比较少的
4、用到的的神经网络是一个浅层的神经网络 ，隐藏层只有100 个神经元

Los resultados obtenidos son los siguientes: