Aprendizaje por refuerzo: la ecuación de Bellman

$$\ast \ast Enfoque:\; valor\; de\; estado,\; ecuación\; de\; Bellman\ast \ast$$

estrategia de evaluación de retorno

  En la introducción anterior del concepto, sabemos que el retorno se puede utilizar para evaluar la calidad de una estrategia. Como se muestra en la figura, hay tres estrategias diferentes, entonces, ¿cuál es la mejor? En este momento, debe usar return para evaluar.




Cálculo de la rentabilidad
  Dado que la rentabilidad es tan importante, ¿cómo calcularla? El cálculo de retorno en el ejemplo anterior usa la definición de retorno, y en realidad hay un mejor método de cálculo.

¿Cómo calcular el retorno de la imagen de arriba? Para facilitar el cálculo, introducimos $v_{}$, usado para grabar desde el estado $s_{}$El rendimiento obtenido de la salida.

Transforme la fórmula anterior para obtener la siguiente fórmula:

La fórmula anterior muestra que el rendimiento obtenido de diferentes estados depende del rendimiento obtenido de otros estados. Se puede encontrar que la fórmula anterior tiene tal característica que se puede obtener por sí misma a través de la iteración continua, como se muestra en la figura a continuación.Este método se llama Bootstrapping.

¿Por qué puede obtenerse a sí mismo a través de la iteración continua? Podemos usar las matemáticas para describir la razón. Primero, escriba la fórmula anterior en forma de matriz, como se muestra en la figura a continuación. De acuerdo con el conocimiento del álgebra lineal, se puede obtener la $v$ .

$$v=r+\gamma pagsv$$$$v=(mi-\gamma p{)}^{-1}r$$

  La fórmula anterior $v=r+\gamma pv$ es la ecuación de Bellman (para este problema determinista en particular). Aunque simple, demuestra la idea central: el valor de un estado depende del valor de otros estados.

valor de estado valor de estado

  Para comprender mejor el valor del estado, primero presentamos algunos símbolos tomando como ejemplo un proceso de un solo paso.

  $S_{}$：ttEstado A t A_ten el tiempo$t$
  $A_{}$：$S_{}$La acción realizada en el estado
  $R_{t+}$: en $S_{}$estado tomar $A_{}$La recompensa S t + 1 S_{t+1} después del comportamiento
  $S_{t+}$：$S_{}$Actuar en el estado $A_{}$nuevo estado después de la transición a

Todos los saltos involucrados en la fórmula anterior son
  $S_{}$→ $A_{}$：依赖于$\pi ({Un}_{}=un|S_{}=s)$
  $S_{}$→ $A_{}$：依赖于$pag(R_{t+}=r|S_{}=s,A_{}=a)$
  $S_{}$→ $A_{}$：依赖于$pag(S_{t+}=s^{\prime }|S_{}=s,A_{}=un)$

Nota: donde $R_{t+}$A veces también escrito como $R_{}$, matemáticamente no hay diferencia entre los dos, pero habitualmente escribimos $R_{t+}$
  El proceso de varios pasos se puede extender desde el proceso de un solo paso y se puede obtener la devolución del descuento. Usamos ${GRAMO}_{}$expresar.


.Con
  la base anterior, ahora podemos definir formalmente el valor de estado, declararemos valor $v$ se define como${GRAMO}_{}$La expectativa (o llamada valor esperado o valor medio):

  1, $v_{}\left(s\right)$ es$Una\; función\; de\; S$ es una expectativa condicional con condiciones. Partiendo de diferentes estados, la trayectoria es diferente y la expectativa correspondiente también es diferente.
  2、$v_{}\left(s\right)$ se basa en la estrategia$\pi$ , los valores de estado obtenidos para diferentes estrategias pueden ser diferentes.
  3.$v_{}\left(s\right)$ no solo representa un valor de estado, sino que también representa un valor. Un valor de estado mayor significa que este estado es valioso, porque se obtiene un mayor rendimiento de este estado.

La diferencia entre retorno y valor de estado:
   el retorno se obtiene para una sola trayectoria, mientras que el valor de estado se obtiene para retornos obtenidos para múltiples trayectorias y luego se promedia. Si todo $\pi ({Un}_{}=un|S_{}=s)$、$pag(R_{t+}=r|S_{}=s,A_{}=a)$、$pag(S_{t+}=s^{\prime }|S_{}=s,A_{}=a)$ es determinista, entonces el retorno es el mismo que el valor de estado.
   Por ejemplo, las siguientes tres estrategias corresponden a diferentes trayectorias, y${Pi}_{}$、${Pi}_{}$La rentabilidad obtenida es igual al valor de estado; ${Pi}_{}$El resultado correspondiente es el valor del estado.

Ecuación de Bellman: Derivación

   A través de la introducción anterior, ahora podemos intentar deducir la ecuación general de Bellman. Ahora, se cree que las siguientes fórmulas son comprensibles. La segunda fórmula muestra que el rendimiento obtenido en el tiempo t puede expresarse como la suma de la recompensa inmediata y el rendimiento del siguiente tiempo multiplicado por el coeficiente de decaimiento. Sustituyendo la segunda fórmula en la ecuación de valor de estado se obtiene la tercera fórmula.



Ahora
   , mire las dos partes de la tercera fórmula por separado:

   la esencia del primer término es el valor promedio de las recompensas oportunas. Primero, en el estado ssHay múltiples acciones para elegir en$s$$La\; probabilidad\; de\; a$ es$\pi$ ; mientras realiza la conductaaaLa recompensa obtenida por$a$$E$ (del estado$s$ comienza a tomar acción$a$ es recompensado$La\; probabilidad\; de\; r$ multiplicada por su propio valor$r$ , es decir, enumerar la probabilidad y la recompensa correspondiente a todas las acciones, multiplicar la probabilidad correspondiente por la recompensa y sumar para obtener la expectativa)

La

   esencia del segundo término es el valor promedio de las recompensas futuras. del estado actual $s$ partió a través de diferentes comportamientos$a$ salta a una$s^{\prime }$ probabilidad$pag(s^{\prime }|s)$; Similar al primer ítem, salta al estado$s^{\text{'}}$ El valor obtenido es el$E$ , y como no hay repercusión salta al estado$s^{\text{'}}$ El valor obtenido es igual al estado$s^{’}$ correspondiente al valor del estado. del estado$s$ al estado$s^{\prime }$ es igual a la probabilidad del estado$s$ comienza eligiendo una acción diferenteaaLa probabilidad de$un$$\pi$ multiplicado por el comportamiento de elección$a$ salta a$s^{\prime }$ La probabilidad$pag(s^{\prime }|s,a)$ , y luego se suman acumulativamente.

   Por lo tanto, obtenemos la fórmula anterior, que es la forma general de la ecuación de Bellman. Se puede observar que la ecuación de Bellman en realidad describe la relación entre valores de estado en diferentes estados; consta de dos ítems: el valor promedio de las recompensas oportunas y el valor promedio de las recompensas futuras; además, esta fórmula es válida para todos estados en el espacio de estados establecido. Se puede ver que $v_{}\left(s\right)$和$v_{}\left(s^{\prime }\right)$son los valores de estado a calcular, y el método de cálculo es Bootstrapping, porque de hecho existe un conjunto de tales fórmulas, que se pueden resolver combinando estas fórmulas, y el proceso de solución depende de muchas probabilidades.

.Para
entender mejor la ecuación de Bellman, la explicamos con un ejemplo.

  Primero escribe todas las fórmulas de Bellman en este problema, primero consideramos el estado $s_{}$, todas las variables involucradas en Bellman se pueden determinar de acuerdo con la estrategia dada.

$$\pi (un=a_{}|s_{})=1\pi (un\ne a_{}|s_{})=0$$$$pag(s^{\prime }=s_{}|s_{},a_{})=1pag(s^{\prime }\ne s_{}|s_{},a_{})=0$$$$pag(r=0|s_{},a_{})=1pag(r\ne 0|s_{},a_{})=0$$
obtenemos fácilmente el estado$s_{}$La ecuación de Bellman de otros estados se puede obtener de manera similar, como sigue:
$$v_{}\left(s_{}\right)=0+v\_{\_}_{}\left(s_{}\right)$$$$v_{}\left(s_{}\right)=1+v\_{\_}_{}\left(s_{}\right)$$$$v_{}\left(s_{}\right)=1+v\_{\_}_{}\left(s_{}\right)$$$$v_{}\left(s_{}\right)=1+v\_{\_}_{}\left(s_{}\right)$$
para obtener las ecuaciones de Bellman correspondientes a todos los estados, y los resultados de solución son los siguientes:

Si$C=0.9$ :

  Puedes ver$v_{}\left(s_{}\right)$ =$v_{}(s,2)$ =$v_{}\left(s_{}\right)$ =10, por qué todos son mayores que$v_{}\left(s_{}\right)$ ? Debido a que el valor del estado representa su valor, los valores que se muestran aquí son porque están más cerca de la meta.

.Ejemplo
2:

De igual forma se obtiene la fórmula de Bellman para cada estado, así:

Los resultados de solución son los siguientes:

cuando $C=0.9$ :
$$v_{}\left(s_{}\right)=8.5$$$$v_{}\left(s_{}\right)=10$$$$v_{}\left(s_{}\right)=10$$$$v_{}\left(s_{}\right)=10$$
indica que esta estrategia no es tan buena como la estrategia del ejemplo 1 anterior.

.

Fórmula de Bellman: forma vectorial

  Hay más de un conjunto de tales fórmulas en la fórmula de Bellman en problemas prácticos, y todas las fórmulas se pueden organizar en una forma vectorial combinándolas simultáneamente. Para poder escribir en forma vectorial, la ecuación de Bellman debe deformarse. donde $r_{}\left(s\right)$ representa el valor promedio de las recompensas oportunas que se pueden obtener del estado actual,${pag}_{}(s^{\prime }|s)$significa estado esclavo$s$ a$s^{probabilidad}$ .


Para distinguir, introducimos subíndices, y la ecuación de Bellman obtenida es la siguiente:

Por lo tanto, podemos obtener la siguiente forma:
donde$[{pag}_{}{]}_{yo,}$Representa la matriz media $\left[{pag}_{}\right]$ objetivoiifila$yo$$Los\; elementos\; de\; la\; columna\; j$ son del estado$s_{}$saltar al estado $s_{}$

Para comprender mejor la forma vectorial anterior, ilustrémosla con un ejemplo: ahora

considere estos dos ejemplos, se ha dado la estrategia (flecha), como se muestra en la figura a continuación, entonces, cómo escribir la forma matricial de su ecuación de Bellman ?


.

Fórmula de Bellman: Resolver

  Sabemos que dada una estrategia, podemos enumerar fácilmente la ecuación de Bellman correspondiente y obtener el valor de estado resolviendo la ecuación de Bellman. Este proceso se denomina evaluación de la estrategia, y la evaluación de la estrategia es un paso muy crítico en el aprendizaje por refuerzo. También es el herramienta más importante Solo a través de la evaluación de la estrategia podemos encontrar la estrategia óptima.
  Cómo resolver la fórmula de Bellman, generalmente hay dos métodos, el método matricial y el método iterativo. ¡
  Método matricial! La forma de la solución se puede obtener fácilmente a través del conocimiento del álgebra lineal, pero no la usamos a menudo en problemas prácticos, porque el espacio matricial de los problemas prácticos es muy grande y la cantidad de cálculo para resolver la matriz inversa será muy grande.

  ¡Método iterativo! Dando aleatoriamente un valor inicial $v_{}$, la iteración continua puede obtener un conjunto de secuencias { v 0 , v 0 , v 0 , … {v_0,v_0,v_0,…} $v_{},v_{},v_{},\dots$ }, cuando el número de iteraciones$Cuando\; k$ es lo suficientemente grande, el valor obtenido será cercano al valor real.

Para comprender mejor el proceso de resolución de la ecuación de Bellman, damos un ejemplo, a continuación, la regla establecida es$r_{}=r_{}=-1$ ,$r_{}=+1$，$C=0.9$


Podemos encontrar que al comparar el valor del estado, muestra que la estrategia 1 y la estrategia 2 son mejores, y la estrategia 3 y la estrategia 4 son peores.

.

valor de acción valor de acción

state value 与 action value 的区别与联系：
	状态值：是机械人从一个状态出发所得到的 return 平均值。
	动作值：是机械人从一个状态出发并且选择了一个行为得到的 return 平均值。
	本质上来说 state value 是 action value 的期望。

  ¿Por qué deberíamos preocuparnos por los valores de acción? Es porque la estrategia en el aprendizaje por refuerzo se refiere a cómo elegir un comportamiento en un estado para aumentar el valor del estado final, y cómo elegir un buen comportamiento debe juzgarse por el valor de la acción.
  Valor de acción El valor de acción se define de la siguiente manera:

Desde el punto de vista matemático, la relación entre el valor de estado y el valor de acción:

(2) La fórmula muestra que si conoce el promedio del valor de acción, puede obtener el valor de estado.
La ecuación (4) muestra que el valor de la acción se puede obtener si se conocen todos los valores de estado.

A través del siguiente ejemplo, entendamos el valor de la acción,

podemos obtener fácilmente el estado $s_{}$的 valor de acción
$$q_{}(s_{},a_{})=-1+v\_{\_}_{}\left(s_{}\right)$$
Aunque la estrategia dada es ejecutar$a_{}$, pero esta estrategia puede ser mala, y es necesario calcular otro valor de acción cuando es necesario volver a seleccionar una estrategia. De la misma manera, podemos encontrar el valor de acción de realizar otras acciones, así:
$$q_{}(s_{},a_{})=-1+v\_{\_}_{}\left(s_{}\right)$$$$q_{}(s_{},a_{})=0+v\_{\_}_{}\left(s_{}\right)$$$$q_{}(s_{},a_{})=-1+v\_{\_}_{}\left(s_{}\right)$$$$q_{}(s_{},a_{})=0+v\_{\_}_{}\left(s_{}\right)$$