Introducción al Aprendizaje por Refuerzo Profundo (DRL) y Clasificación de Algoritmos Comunes (DQN, DDPG, PPO, TRPO, SAC)

Presente brevemente los conceptos básicos del aprendizaje por refuerzo profundo, los algoritmos comunes, los procesos y su clasificación (actualizados continuamente), para que todos puedan comprender y aplicar mejor los algoritmos de aprendizaje por refuerzo, y resolver mejor los problemas de vanguardia en sus respectivos campos. Invitamos a todos a dejar un mensaje para discutir y progresar juntos.

(PD: si solo presta atención a la implementación del algoritmo, puede leer directamente el contenido de las partes 3 y 4).

1. Aprendizaje por refuerzo

Aprendizaje por Refuerzo (RL): Aprendizaje por Refuerzo
El Aprendizaje por Refuerzo es un tipo de aprendizaje automático, es diferente al aprendizaje supervisado y al aprendizaje no supervisado, a través de la interacción continua entre el agente y el entorno (es decir, tomar acciones), para luego obtener recompensas, para optimizar continuamente su propia estrategia de acción, en previsión de maximizar su recompensa a largo plazo (suma de recompensas). El aprendizaje por refuerzo se adapta especialmente bien a los problemas de decisión secuencial (que implican una serie de problemas de decisión ordenados).

En aplicaciones prácticas, a menudo no podemos etiquetar con precisión cada dato o estado para ciertas tareas, pero podemos usar el aprendizaje por refuerzo para conocer o evaluar la situación actual o si los datos son buenos o malos. Por ejemplo, juegue Go, Starcraft II (Starcraft II) y otros juegos.

1.1 Definición de aprendizaje por refuerzo

El agente interactúa con su entorno conocido como entorno. El agente obtendrá una recompensa del entorno una vez que realice una acción en el entorno actual. Mientras tanto, el entorno evoluciona al siguiente estado. El objetivo del agente es maximizar su recompensa total (el Retorno) a largo plazo.

El agente interactúa continuamente con el entorno (es decir, realiza una acción en un estado dado) y, por lo tanto, obtiene una recompensa, mientras que el entorno se mueve de un estado al siguiente. Al optimizar continuamente su propia estrategia de acción, el agente espera maximizar su recompensa o beneficio a largo plazo (suma de recompensas).

1.2 Conceptos relacionados con el aprendizaje por refuerzo

（1）状态 Estado (S): observación del entorno por parte del agente;
（2）动作 Acción (A): los enfoques en los que el agente interactúa con el medio ambiente;
（3）奖励 Recompensa ( $R_{}$): la bonificación que obtiene el agente una vez que realiza una acción en el entorno en el paso de tiempo dado $t.Retorno$ (
Return) es la suma de recompensas obtenidas por el Agente.
(4) Probabilidad de transición Probabilidad de transición (P): la posibilidad de transición de que el entorno evolucione de un estado a otro. La transición del entorno de un estado a otro puede
ser un proceso de transición determinista, por ejemplo,$S_{t+}=f(S_{},A_{})$ , también puede ser un proceso de transferencia aleatoria, como$S_{t+}\sim pag\left(S_{t+}|S_{},A_{}\right)$ .
(5) Factor de descuento Factor de descuento ($\gamma$ ): para medir la importancia de la recompensa futura para el agente en el estado actual
(6) La trayectoria es una serie de estados, acciones y recompensas, que se puede expresar como:
$$t=\left(S_{},A_{},R_{},S_{},A_{},R_{},...\right)$$

Usa la trayectoria $\tau$ para registrar cómo interactúa el agente con el entorno. El estado inicial de la trayectoria se muestrea aleatoriamente a partir de la distribución de estados iniciales. Una pista a veces se denomina segmento (Episodio) o ronda, que es una secuencia desde el estado inicial (Estado inicial, como la apertura del juego) hasta el estado final (Estado terminal, como la muerte o la victoria en el juego). ).
(7) Compensación de exploración-explotación (Compensación de exploración-explotación)
Aquí, la exploración significa que el agente obtiene más información al interactuar con el entorno, y la utilización significa usar la información actualmente conocida para que el agente se desempeñe de manera óptima, por ejemplo, la estrategia codiciosa. . Al mismo tiempo, solo puede elegir uno de los dos. Por lo tanto, cómo equilibrar la exploración y la utilización para maximizar los rendimientos a largo plazo es un tema muy importante en el aprendizaje por refuerzo.

Por lo tanto, puedes usar (S, A, P, R, $\gamma$ ) para describir el proceso de aprendizaje por refuerzo.

1.3 Modelado matemático para el aprendizaje por refuerzo

(1) El proceso de Markov (MP) es un proceso aleatorio discreto con propiedades de Markov.

La propiedad de Markov se refiere al siguiente estado $S_{t+}$solo depende del estado actual $S_{}$.

$$pag\left(S_{t+}|S_{}\right)=pag\left(S_{t+}|S_{},S_{},S_{},\dots ,S_{}\right)$$

Se puede usar un conjunto de estados finitos $S$ y matriz de transición de estado$P$ significa que el proceso MP es$<S,PAG>$ .

(2) Proceso de recompensa de Markov (Proceso de recompensa de Markov, MRP)

Para poder describir las recompensas de retroalimentación del entorno al Agente, el proceso de recompensa de Markov cambia el MP anterior de $<S,PAG>$ Expandido a$<S,pag\_R,C>$ . Aquí,$R$ representa la función de recompensa, y$\gamma$ representa el factor de descuento de la recompensa.

$$R_{}=R\left(S_{}\right)$$

Retorno (Return) es la recompensa acumulada del Agente en una trayectoria. El rendimiento descontado se define de la siguiente manera:

$${GRAMO}_{t=0:}=R\left(\tau \right)=\sum _{t=0}{C}^t{R}_{}$$

Valor Función $V\left(s\right)$ es el agente en estado$s$ rendimiento esperado (Expected Return).
$$V^{\pi }\left(s\right)=mi\left[R\right(\tau )|S_{}=s]$$

(3) Proceso de decisión de Markov (Proceso de decisión de Markov, MDP)
El MDP se usa ampliamente en economía, cibernética, teoría de colas, robótica, análisis de redes y muchos otros campos.
Recompensas inmediatas para los procesos de decisión de Markov (Recompensa, $R$ ) está relacionado con el estado y la acción. MDP se puede usar$<S,un,pag\_R,C>$ caracterizar.
$A$ representa un conjunto limitado de acciones. En este momento, la recompensa inmediata se convierte en
$$R_{}=R(S_{},A_{})$$

Política (Policy) se utiliza para describir la forma en que el Agente realiza acciones en función de las observaciones ambientales. La política es de un estado $s\in S$ suma acción$a\in Distribución\; de\; probabilidad\; de\; A$ a acciónπ ( a ∣ s ) \pi(a|s)proyección$\pi$$($$a$$|$$s$$)$$\pi (a|s)$ significa en estado$s$ , tomar acción$a$的概率。
$$\pi (un|s)=pag({un}_{}=un|S_{}=s),\exists t$$

Retorno Esperado (Expected Return) se refiere al valor de retorno esperado de todas las trayectorias posibles bajo una estrategia dada, que se puede expresar como:
$$J\left(pag\right)={\int }_{}pags(\tau |\pi \left)R\right(\tau )={mi}_{\tau \sim }[R(\tau )]$$

Aquí, $p(\tau |\pi )$ representa la distribución de estado inicial dada$r_{}$y estrategia $\pi$ , un TTen un proceso de decisión de MarkovTrayectoria τ \tau$de\; T$ paso$La\; probabilidad\; de\; ocurrencia\; de\; \tau$ es la siguiente:

$$pags(\tau |\pi )=r_{}(s_{}\left)\prod _{t=0}^{T-}pag\right(S_{t+}|S_{},A_{})p({un}_{}|S_{})]$$

Los problemas de optimización del aprendizaje por refuerzo mejoran las políticas mediante métodos de optimización para maximizar las recompensas esperadas. Política óptima ${Pi}^{\ast \; se}$ puede expresar como

$${Pi}^{\ast }=arg\underset{Pi}{}J\left(pag\right)$$

Dada una estrategia $\pi$ , función de valor$V\left(s\right)$ , el rendimiento esperado en un estado dado, se puede expresar como

$$V^{\pi }\left(s\right)={mi}_{\tau \sim }\left[R\right(\tau )|S_{}=s]={mi}_{A_{}\sim \pi (\cdot |S_{}}\left[\sum _{t=0}{C}^{t}R(S_{},A_{})|S_{}=s\right]$$

En MDP, dada una acción, existe una Función Action-Value (Función Action-Value), que se basa en el estado y el retorno esperado de la acción. Se define de la siguiente manera:

$$q^{\pi }(s,un)={mi}_{\tau \sim }\left[R\right(\tau )|S_{}=s,A_{}=un]={mi}_{A_{}\sim \pi (\cdot |S_{}}\left[\sum _{t=0}{C}^{t}R(S_{},A_{})|S_{}=s,A_{}=un\right]$$

De acuerdo con la definición anterior, podemos obtener:
$$V^{\pi }\left(s\right)={mi}_{un\sim }\left[P^{\pi }\right(s,un)]$$

2. Aprendizaje por refuerzo profundo

Deep Learning + Reinforcement Learning = Deep Reinforcement Learning (DRL)
deep learning DL tiene fuertes capacidades de abstracción y representación, especialmente adecuado para modelar funciones de valor en RL, por ejemplo: función de valor de acción Q π ( s , $q^{Pi}\left(s,a\right)$ .
La combinación de los dos amplía enormemente el rango de aplicación de RL.

3. Algoritmos comunes de aprendizaje por refuerzo profundo

Hay muchos algoritmos para el aprendizaje de refuerzo profundo, los más comunes son: DQN, DDPG, PPO, TRPO, A3C, SAC, etc.
(El breve proceso de cada algoritmo se complementará más adelante)

3.1 Redes Q profundas (DQN)

La red DQN combina Q-Learning y aprendizaje profundo, e introduce dos técnicas novedosas para resolver el problema del uso de aproximadores de funciones no lineales, como las redes neuronales, para representar la función de valor de acción Q ( s , a ) Q(s,a $Q(s,a)$ El problema de inestabilidad resultante:
Técnica$\stackrel{◯}{1}$ : Búfer de reproducción de experiencia (Búfer de reproducción): almacene la experiencia obtenida por el agente en el caché y luego adopte uniformemente (o considere el muestreo basado en prioridades) muestras de lotes pequeños del caché para la actualización de Q-Learning; Tecnología 2 ◯
{$\stackrel{◯}{2}$ : Red de destino: introduzca una red independiente para reemplazar la red Q requerida para generar el objetivo de Q-Learning y mejorar aún más la estabilidad de la red neuronal.

Aquí, técnica $\stackrel{◯}{1}$ Puede mejorar la eficiencia del uso de muestras, reducir la correlación entre muestras y suavizar el proceso de aprendizaje; tecnología$\stackrel{◯}{2}$ Puede ser que el valor objetivo no se vea afectado por los últimos parámetros, y haya mucha menos divergencia y choque.

Probado en varios juegos en Atari, el algoritmo DQN muestra un rendimiento excelente.

La descripción específica del algoritmo DQN es la siguiente:

1. Hiperparámetro : capacidad de caché de reproducción $B$ , factor de descuento de recompensa$\gamma$ , tamaño de paso de retardo de actualización de la red de destino$C$ ;
2.Entrada: búfer de reproducción$B$ , inicializa la red de función de valor de acción$Q(s,un|{\theta }^Q)$, red objetivo$q^{\prime }(s,un|{\theta }^{q^{\prime }})$$；
3.\qquadInicialice los parámetros de la red de destino $q^{\prime }$ :$i^{q^{\prime }}\leftarrow i^Q$；
4.para $episode=1,\cdots ,M$ hacer
5.\qquadInicializar el entorno,
6. \qquadEl estado inicial es $S_{}$；
7. \qquadpara $t=1,\cdots ,T$ hacer
8.\qquad\qquadCon probabilidad $ϵ$ elige una acción aleatoria$A_{}$; De lo contrario, elige la acción $A_{}=arg\underset{a}{}q\left(S_{}，un|{\theta }^Q\right)$；
9.\qquad\qquadEjecutar acción $A_{}$obtener recompensa $R_{}$, observe el siguiente estado $S_{t+}$；
10. \qquad\qquadGuardar muestras de transición de estado $\left(S_{},A_{},R_{},S_{t+}\right)$ a$B$；
11.\qquad\qquaddel caché B \mathcal{B}Muestreo aleatorioNN$en\; B$$N$个状态转移$\left(S_{},A_{},R_{},S_{yo+}\right)$；
12.\qquad\qquad设置$Y_{}=R_{}+C\underset{a}{}{q}^{\prime }\left(S_{yo+},un|{\theta }^{q^{\prime }}\right)$；
13.\qquad\qquadActualice la red Q minimizando la función de pérdida $Q(s,un|{\theta }^Q)$：
14.\qquad\qquad $L=\frac{}{norte}{\sum }_{}{\left(Y_{}-Q(S_{},A_{}|{\theta }^P)\right)}^2$；
15.\qcuadrado\qcuadradopor $Paso\; C$ , para la red objetivo$q^{\prime }(s,un|{\theta }^{q^{\prime }})$para sincronizar:
16.\qquad\qquad $i^{q^{\prime }}\leftarrow i^Q$；
17.\qquadend for
18. end for

Nota: aquí probabilidad de selección de acción aleatoria$ϵ$ generalmente disminuye gradualmente con el aumento del Episodio de iteración y el Paso de tiempo, el propósito es reducir la influencia de la estrategia aleatoria y mejorar gradualmente la influencia de la red Q en la selección de acciones del Agente.

Resuelve, la línea 14 es una ecuación simple:
$$i^q\leftarrow i^q+b\underset{yo\in norte}{}\frac{\partial Q(s,un|{\theta }^q}{\partial {\theta }^q}[{años}_{}-Q(s,un|{\theta }^Q)]$$
Entre ellos, el conjuntoN \mathcal{N}NNpara minilote en$N$$N$个$\left(S_{},A_{},R_{},S_{t+}\right)$ conjunto de muestras de experiencia,$\beta$ representa el tamaño del paso de iteración en una iteración de gradiente.

Referencias:
[1] V. Mnih et al., "Control a nivel humano a través del aprendizaje de refuerzo profundo", Nature, vol. 518, núm. 7540, págs. 101-1 529–533, febrero. 2015.

3.2 Gradiente de política determinista profundo (DDPG)

El algoritmo DDPG puede considerarse como la combinación del algoritmo Deterministic Policy Gradient (DPG) y la red neuronal profunda, que es una extensión de la red Q profunda (DQN) mencionada anteriormente en el espacio de acción continua.

DDPG establece la función de valor Q (Crítico) y la función de estrategia (Actor) al mismo tiempo. Aquí, Critic es lo mismo que DQN y se actualiza mediante el método TD, mientras que Actor utiliza la estimación de Critic para actualizar mediante el método de gradiente de estrategia.

El algoritmo DDPG se describe específicamente de la siguiente manera:

1. Hiperparámetro : factor de actualización suave $\rho$ , factor de descuento de recompensa$\gamma$ 2.Entrada: búfer de reproducción
mathcal{B}$B$ , inicializa la red crítica$Q(s,un|{\theta }^Q)$función de actor$\pi (s|{\theta }^{\pi })$
3__Red de destino $q^{\prime }$、${Pi}^{\prime }$；
4.\qquadInicialice los parámetros de la red de destino $q^{\prime }$ y${Pi}^{\prime }$：
5.\qquad $i^{q^{\prime }}\leftarrow i^Q$ ,$i^{{Pi}^{\prime }}\leftarrow i^{\pi }$；
6.para $episode=1,\cdots ,M$ hacer
7.\qquadInicializar el proceso aleatorio $N$ , usado para agregar exploración a las acciones
8.\qquadEl estado inicial es $S_{}$；
9. \qquadpara $t=1,\cdots ,T$ hacer
10.\qquad\qquadSea $A_{}=\pi (S_{}|{\theta }^{pag})+{norte}_{}$；
11. \qquad\qquadEjecutar acción $A_{}$obtener recompensa $R_{}$, observe el siguiente estado $S_{t+}$；
12. \qquad\qquadGuardar muestras de transición de estado $\left(S_{},A_{},R_{},S_{t+}\right)$ a$B$；
13.\qquad\qquaddel caché B \mathcal{B}Muestreo aleatorioNN$en\; B$$N$个状态转移$\left(S_{},A_{},R_{},S_{yo+}\right)$；
14.\qquad\qquad设置$Y_{}=R_{}+\gamma Q^{\prime }\left(S_{yo+},{Pi}^{\prime }(S_{yo+}|{\theta }^{{Pi}^{\prime }})|{\theta }^{q^{\prime }}\right)$；
15.\qquad\qquadActualice la red Critic minimizando la función de pérdida:
16. \qquad\qquad$L=\frac{}{norte}{\sum }_{}{\left(Y_{}-Q(S_{},A_{}|{\theta }^P)\right)}^2$；
13.\qquad\qquadActualice la red de actores muestreando el gradiente de políticas:
14. \qquad\qquad ${\nabla }_{i^{}}j\approx \frac{}{norte}{\sum }_{}{\nabla }_{}Q(s,un|{\theta }^P\left){|}_{s=S_{},un=\pi (S_{}}{\nabla }_{i^{}}\pi \right(s|{\theta }^{)}|\_{}_{S_{}}$；
15. \qquad\qquadActualizar red de destino:
16. \qquad\qquad $i^{q^{\prime }}\leftarrow yo{\_}^q+(1-r){yo}^{q^{\prime }}$ ,
17.\qquad\qquad $i^{{Pi}^{\prime }}\leftarrow yo{\_}^{Pi}+(1-r){yo}^{{Pi}^{\prime }}$；
18.\qquadfinal para
19. final para

En el artículo original, se usó el proceso de Ornstein-Uhlenbeck (proceso OU) como el término de ruido agregado $N$ , también se puede usar ruido gaussiano de media cero no correlacionado en el tiempo (la práctica relevante muestra que su efecto también es muy bueno).

Referencias:
[1] Lillicrap, Timothy P., et al., "Control continuo con aprendizaje de refuerzo profundo", versión preliminar de arXiv, 2015, en línea: https://arxiv.org/pdf/1509.02971.pdf

3.3 Optimización de políticas proximales (PPO)

El algoritmo PPO es una mejora de Trust Region Policy Optimization (TRPO), que utiliza un método más simple y efectivo para hacer cumplir la política π θ \pi ${Pi}_{}$θ ′ \pi_{\theta}^{\prime }${Pi}_i^{}$Por ejemplo
, TRPO tiene un rango de voltajes:
$$\begin{gathered} \underset{{Pi}_i^{}}{}{L}_{{Pi}_{}}\left({pag}_i^{}\right) \\ s.t.{mi}_{s\sim {\rho }_{{Pi}_{}}}\left[D_K\left({pag}_{}||{\pi }_i^{}\right)\right]\le \delta \end{gathered}$$
y el algoritmo PPO optimiza directamente la versión regular del problema anterior, a saber:

$$\underset{{Pi}_i^{}}{}{L}_{{Pi}_{}}\left({pag}_i^{}\right)-\lambda E{\_}_{s\sim {\rho }_{{Pi}_{}}}\left[D_K\left({pag}_{}||{\pi }_i^{}\right)\right]$$

Aquí, $\lambda$ es el coeficiente de regularización, correspondiente a cada$\delta$ , hay un$\lambda$ , por lo que los dos problemas de optimización anteriores tienen la misma solución. Sin embargo,$El\; valor\; de\; \lambda$ depende de${Pi}_{}$, por lo tanto, en PPO, es necesario usar un $lambda$ _ Específicamente, existen dos métodos:λ \lambda
comprobando el valor de divergencia KL$Ya\; sea\; que\; \lambda$ aumente o disminuya, esta versión del algoritmo PPO se denomina PPO-Penalty;
(2) trunca directamente la función objetivo utilizada para el gradiente de política para obtener una actualización más conservadora, este método se denomina PPO-Clip.

La descripción específica del algoritmo PPO-Clip es la siguiente:

1. Hiperparámetros : factor de truncamiento $ϵ$ , el número de subiteraciones$M,B$ ,
2.Entrada: Parámetro de estrategia de inicialización$\theta$ , parámetro de valor inicial$\varphi$；
3.para $k=1,\cdots$ hacer
4.\qquadHacer cumplir la política π θ k \pi_{\theta_k} en el entorno${Pi}_{i_{}}$, y guarde el conjunto de trayectorias $D_{}=\left\{v_{}\right\}$；
5.\qquadCalcula la recompensa que obtendrá ${\widehat{GRAMO}}_{}$；
6. \qquadBasado en la función de valor actual $V_{{\varphi }_{}}$, calcule la función de ventaja ${\hat{A}}_{}$(usando cualquier método para estimar probabilidades)
7. \qquadpara $metro=1,\cdots ,M$ hacer
8.\qquad\qquad ${\ell }_{}\left({yo}^{\prime }\right)=\frac{{Pi}_{}({Un}_{}|S_{}}{{Pi}_{i_{viejo\_}}({Un}_{}|S_{})}$；
9. \qquad\qquadUse el algoritmo de ascenso de gradiente estocástico de Adam para maximizar la función objetivo de PPO-Clip para actualizar la estrategia:
10. \qquad\qquad $i_{k+}=arg\underset{i}{}\frac{}{|D_{}|T}\underset{\tau \in D_{}}{}\sum _{t=0}f\left({yo}^{\prime }\right)$；
11.\qquadfinal para
12. \qquadpara $b=1,\cdots ,B$ hacer
13.\qquad\qquadAprenda la función de valor minimizando el error cuadrático medio usando el descenso de gradiente:
14. \qquad\qquad ${\varphi }_{k+}=arg\underset{i}{}\frac{}{|D_{}|T}\underset{\tau \in D_{}}{}\sum _{t=0}{\left(V_{}\left(S_{}\right)-{\widehat{GRAMO}}_{}\right)}^2$；
15.\qcuadradofin para
16. fin para


其中，$f\left({yo}^{\prime }\right)=\min \left({\ell }_{}\left({yo}^{\prime }\right){Un}^{{Pi}_{i_{viejo\_}}}(S_{},A_{}),clip(\ell \_\_\_{}_{}({yo}^{\prime }),1-,\_1+ϵ)A^{{Pi}_{i_{viejo\_}}}(S_{},A_{})\right)$

Por ejemplo, $clip(x,\_\_\_1-,\_1+ϵ)$ significa que$x$ truncada en$[1-,\_1+ϵ]$中。

参考文献：
[1] Schulman, J., et al. “Algoritmos de optimización de políticas proximales”, versión preliminar de arXiv, 2017, en línea: https://arxiv.org/pdf/1707.06347.pdf
[2] Schulman J, Levine S, Abbeel P, et al. “Optimización de políticas de región de confianza”, Conferencia internacional sobre aprendizaje automático. PMLR, 2015: 1889-1897, en línea: http://proceedings.mlr.press/v37/schulman15.pdf

4. Clasificación de algoritmos de aprendizaje por refuerzo profundo

Existen muchos estándares de clasificación para los algoritmos de aprendizaje por refuerzo profundo. Los métodos de clasificación comunes y las categorías específicas se resumen a continuación:

4.1 Según si las estrategias utilizadas en el entrenamiento y prueba de Agentes son consistentes

4.1.1 fuera de política (estrategia fuera de pista, estrategia fuera de línea)

La estrategia utilizada por el Agente durante el entrenamiento (generando datos) ${Pi}_{}$La estrategia utilizada al probar con el agente (evaluación y promoción del método) ${Pi}_{}$Inconsistente.

Por ejemplo, en el algoritmo DQN, durante el entrenamiento, generalmente se usa $ϵ-greedy$ estrategia; al probar el rendimiento o el uso real, use$a^{\ast }=unrg\_\underset{a}{}{q}^{Pi}\left(s,a\right)$ Estrategia.

Los algoritmos comunes son: DDPG, TD3, Q-learning, DQN, etc.

4.1.2 en política (estrategia en la misma pista, estrategia en línea)

La estrategia utilizada por Agent durante el entrenamiento (generación de datos) y la estrategia utilizada durante la prueba (evaluación y promoción del método) son la misma estrategia $pág$ .

Los algoritmos comunes incluyen: Sarsa, Policy Gradient, TRPO, PPO, A3C, etc.

4.2 Diferentes formas de optimización de la estrategia

4.2.1 Algoritmos basados ​​en valores (algoritmos basados ​​en valores)

Los métodos basados ​​en valores generalmente implican que la función de acción-valor $q^{\pi }(s,a)$ optimización, la estrategia óptima selecciona la función$q^{\pi }(s,a)$ La acción correspondiente al valor máximo, es decir,${Pi}^{\ast }\approx arg\underset{Pi}{}{q}^{\pi }(s,a)$ , aquí,$\approx$ es causado por el error de aproximación de la función.

El algoritmo basado en valores tiene las ventajas de una eficiencia de muestreo relativamente alta, una varianza de estimación de función de valor pequeña y no es fácil caer en el óptimo local. La desventaja es que generalmente no puede tratar con problemas de espacio de acción continua, y la estrategia final suele ser una estrategia determinista.

Los algoritmos comunes incluyen Q-learning, DQN, Double DQN, etc., que son adecuados para el espacio de acción discreto. Entre ellos, el algoritmo DQN se basa en la función de estado-acción $Q(s,a)$ para seleccionar la acción óptima.

4.2.2 Algoritmos basados ​​en políticas (algoritmos basados ​​en políticas)

El método basado en la estrategia optimiza directamente la estrategia y actualiza iterativamente la estrategia a través del despacho de aduanas para maximizar la recompensa acumulada (retorno). Tiene las ventajas de una parametrización de políticas simple y una convergencia rápida, y es adecuado para espacios de acción continuos o de alta dimensión.

El método de gradiente de política (Policy Gradient Method, PGM) es una clase de métodos de aprendizaje por refuerzo que apuntan directamente al rendimiento esperado a través del descenso de gradiente (Gradient Descent, para el problema de minimización) para la optimización de políticas. No necesita resolver el problema de optimización de la maximización del valor en el espacio de acción, por lo que es más adecuado para el espacio de acción continuo y de alta dimensión, y también puede modelar estrategias aleatorias de forma natural.

El método PGM optimiza directamente la estrategia del agente sobre los parámetros de la red neuronal a través del método de ascenso de gradiente.

Según teorías relacionadas, el rendimiento esperado $J\left(f_{}\right)$ sobre el parámetro$El\; gradiente\; de\; \theta$ se puede expresar como:

$${\nabla }_{}J\left(f_{}\right)={mi}_{\tau \sim {\pi }_{}}\left[\sum _{t=0}{R}_{}{\nabla }_{}\sum _{t^{\prime }=0}iniciarsesión{Pi}_{}({Un}_{t^{}}|S_{t^{}})\right]={mi}_{\tau \sim {\pi }_{}}\left[\sum _{t^{\prime }=0}{\nabla }_{}iniciarsesión{Pi}_{}({Un}_{t^{}}|S_{t^{}})\sum _{t=0}{R}_{}\right]$$

当$T\to Cuando\; \infty$ , la fórmula anterior se puede expresar como:

$${\nabla }_{}J\left(f_{}\right)={mi}_{\tau \sim {\pi }_{}}\left[\sum _{t^{\prime }=0}{\nabla }_{}iniciarsesión{Pi}_{}({Un}_{t^{}}|S_{t^{}})c^{t^{\prime }}\sum _{t=t^{\prime }}{C}^{t-t^{\prime }}{R}_{}\right]$$
En la práctica,$C^{t^{’}}$ , para evitar el problema de enfatizar demasiado los primeros estados de la trayectoria.

Los métodos anteriores tienden a tener métodos más grandes para la estimación del gradiente (recompensa $R_{}$La aleatoriedad de puede crecer exponencialmente con la longitud de la trayectoria L). Por esta razón, el método común es introducir una función de referencia $segundo\left(S_{}\right)$ , solo indique$S_{}$La función. El degradado anterior se puede modificar para:

$${\nabla }_{}J\left(f_{}\right)={mi}_{\tau \sim {\pi }_{}}\left[\sum _{t^{\prime }=0}{\nabla }_{}iniciarsesión{Pi}_{}({Un}_{t^{}}|S_{t^{}})\left(\sum _{t=t^{\prime }}{C}^{t-t^{\prime }}{R}_{}-segundo\left(S_{t^{}}\right)\right)\right]$$

Los algoritmos comunes de PGM incluyen REINFORCE, PG, PPO, TRPO, etc.

4.2.3 Algoritmos actor-crítico (método actor-crítico)

El método Actor-Critic combina el método basado en valores y el método basado en políticas mencionados anteriormente, utiliza el método basado en valores para aprender la función de valor Q o la función de valor de estado V para mejorar la eficiencia de muestreo (Critic) y utiliza el método basado en políticas para aprender la función política (Actor), por lo tanto, adecuado para espacios de acción continuos o de alta dimensión. Sus deficiencias también heredan las deficiencias de los dos. Por ejemplo, Critic tiene un problema de sobreestimación, mientras que Actor tiene un problema de infraexploración.

Los algoritmos comunes incluyen DDPG, A3C, TD3, SAC, etc., adecuados para espacios de acción continuos y de alta dimensión,

4.3 Los métodos de actualización de parámetros son diferentes

Métodos de actualización de parámetros

4.3.1 Método de Montecarlo

Método Monte Carlo: debe esperar una trayectoria $t_{}$No se puede actualizar hasta que se genere (valor verdadero).

Los algoritmos comunes incluyen: gradiente de política, TRPO, PPO, etc.

4.3.2 Método de diferencia temporal

Método de diferencia de tiempo: Bootstrapping (valor estimado) se puede actualizar en el tiempo en cada paso de la ejecución de la acción.

Los algoritmos comunes son: DDPG, Q-learning, DQN, etc.