(3) La base del aprendizaje de refuerzo profundo [aprendizaje de estrategias]

Aprendizaje por refuerzo basado en políticas

Usaremos una red neuronal para aproximar la función de política. Esta red neuronal se denomina red de políticas, que se puede utilizar para controlar el movimiento de los agentes.

1. Aproximación de la función de política

1.1 Función de política $\pi (un|s)$

• Función de política $\pi (un|s)$ es una función de densidad de probabilidad (PDF).

• Toma estado $s$ como entrada.

• Da salida a las probabilidades para todas las acciones, por ejemplo,

                                 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;$\pi \left(izquierdayderecha\right)|s)=0.2,$
                                 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;$p(correcto\_\_\_\_|s)=0.1,$
                                 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;$\pi (arriba\_|s)=\mathrm{0.7.}$

• El agente realiza una acción $aleatoria$ extraída de la distribución.

¿ Podemos aprender directamente una función de política $\pi (un|s)?$

• Si solo hay unos pocos estados y acciones, entonces sí, podemos.

• Dibujar una tabla (matriz) y aprender las entradas.

• ¿Qué pasa si hay demasiados (o infinitos) estados o acciones?

1.2 Red de políticas $\pi (un|s;yo)$

Red de políticas: use una red neuronal para aproximar $\pi (un|s)$ .

• Utilizar red de políticas $\pi (un|s;\theta )$ para aproximar$\pi (un|s)$ .

• $\theta$ : parámetros entrenables de la red neuronal.

• ${\sum }_{a\in }\pi (un|s;yo)=1.$

• Aquí, $A$ = {“izquierda”,“derecha”,“arriba”} es el conjunto de todas las acciones.

• Es por eso que usamos la activación softmax.

2. Aproximación de la función de valor de estado

Revisión 2.1: función de valor de acción

2.2 Función de valor de estado

• $V_{}\left(s_{}\right)={mi}_{}\left[P_{}\right(s_{},un)]={\sum }_{}\pi (un|s)\cdot q_{}(s_{},a).$
               \;\;\;\;\;\;\;Integre la acción $A\backsim \pi (•|s_{}).$

$V_{}\left(s_{}\right)$ puede evaluar el estado actual. Cuanto mayor sea$V_{}\left(s_{}\right)$ , mayor será la posibilidad de ganar. Dado el estado$s$ ,$V_{}\left(s_{}\right)$ puede evaluar la estrategia$pág$ . Si$\pi$ es bueno, cuanto mayor sea$V_{}\left(s_{}\right)$ , mayor es la probabilidad actual de ganar.

Definición: Función estado-valor.
$V_{}\left(s_{}\right)={mi}_{}\left[P_{}\right(s_{},un)]={\sum }_{}\pi (un|s)\cdot q_{}(s_{},a).$

Función aproximada de valor de estado.

• Función de política aproximada $\pi (un|s_{})$ por red de políticas$\pi (un|s_{};yo).$

• Función de política aproximada $V_{}\left(s_{}\right)$ por:

                                         \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;$V(s_{};yo)={\sum }_{}\pi (un|s;yo)\cdot q_{}(s_{},a).$

Definición: Función de estado-valor aproximada.
• $V(s_{};yo)={\sum }_{}\pi (un|s;yo)\cdot q_{}(s_{},a).$

Aprendizaje basado en políticas: Aprender $\theta$ que maximiza$J\left(\theta \right)={mi}_{}\left[V\right(S;yo)].$

Cuanto mejor sea la red de políticas, mayor será $J\left(\theta \right)$ .

Cómo mejorar $\theta$ ? ¡Ascenso de gradiente de políticas!

• Observar estado $s$ .

• Política de actualización por: $i\leftarrow i+b\cdot \frac{\partial V(s;\theta }{\partial \theta }$

$política\_\_\_\_gradiente\_\_\_\_\_\_\_:\frac{\partial V(s;\theta }{\partial \theta }$

3. Gradiente de política

Definición: Función de estado-valor aproximada.
• $V(s_{};yo)={\sum }_{}\pi (un|s;yo)\cdot q_{}(s_{},a).$

Gradiente de política: Derivado de $V(s;yo)$escribir $\theta \_$
•$\frac{\partial V(s;\theta }{\partial \theta }=\frac{\partial {\sum }_{}\pi (un|s;\theta )\cdot Q_{}(s_{},un}{\partial \theta }.$

Introduce la derivada dentro de la sumatoria.

$={\sum }_{}\frac{\partial \pi (un|s;\theta )\cdot Q_{}(s_{},un}{\partial \theta }.$

Imagina $q_{}$es independiente de $\theta$ _
(Puede que no sea cierto.)

$={\sum }_{}\frac{\partial \pi (un|s;\theta }{\partial \theta }\cdot q_{}(s_{},un)$ $política\_\_\_\_Gradient:Formulario1\_\_$

Sin embargo, este gradiente de política no se usa en el proceso real, pero sí se usa la aproximación de Monte Carlo de este gradiente de política.

                     \;\;\;\;\;\;\;\;\;\;

Dos formas de gradiente de política:

• Forma 1: $\frac{\partial V(s;\theta }{\partial \theta }={\sum }_{}\frac{\partial \pi (un|s;\theta }{\partial \theta }\cdot q_{}(s_{},a).$

• Forma 2: $\frac{\partial V(s;\theta }{\partial \theta }={mi}_{UN\backsim \pi (•|s;\theta }[\frac{\partial logramo\pi (UN|s;\theta }{\partial \theta }\cdot q_{}(s,A)].$

3.1 Calcular gradiente de política para acciones discretas

Si las acciones son discretas, por ejemplo, espacio de acción $A=$ {“izquierda”, “derecha”, “arriba”},…

Use Form1: $\frac{\partial V(s;\theta }{\partial \theta }={\sum }_{}\frac{\partial \pi (un|s;\theta }{\partial \theta }\cdot q_{}(s_{},a).$

1. Calcula $f(un,yo)=\frac{\partial \pi (un|s;\theta }{\partial \theta }\cdot q_{}(s_{},a),$ para toda acción$a\in un\_$
2. Gradiente de política: $\frac{\partial V(s;\theta }{\partial \theta }=f("izquierda",\_\_\_yo)+f("correcto",\_\_\_\_yo)+f("arriba",\_yo)$.

               \;\;\;\;\;\;\;Si $A$ es grande, este enfoque es costoso.

3.2 Calcular gradiente de política para acciones continuas

Si las acciones son continuas, por ejemplo, espacio de acción $A$ = [0,1],…

Utilice la forma 2: $\frac{\partial V(s;\theta }{\partial \theta }={mi}_{UN\backsim \pi (•|s;\theta }[\frac{\partial logramo\pi (UN|s;\theta }{\partial \theta }\cdot q_{}(s,A)].$

1. Muestra aleatoriamente una acción $\hat{a}$ según el PDF$\pi (\cdot |s;yo).$
2. Calcula $gramo(\hat{a},yo)=\frac{\partial logramo\pi (\_\hat{a}|s;yo}{\partial \theta }\cdot q_{}(s,\hat{a})$
        \;\;
3. Usa $gramo(\hat{a},\theta )$ como una aproximación al gradiente de política$\frac{\partial V(s;\theta }{\partial \theta }$.

3.3 Actualizar la red de políticas mediante el gradiente de políticas

El algoritmo de Reinforce necesita jugar un juego y observar todas las recompensas antes de actualizar la red.

Más tarde…

4. Resumen