(1) Noções básicas de aprendizado por reforço profundo [Conceitos básicos]

1. Terminologias

Existem muitos termos profissionais no aprendizado por reforço. Se você deseja iniciar o aprendizado por reforço, deve entender esses termos profissionais.

1] estado e
estado de ação $s$ (este quadro)

ação $um$ $\in$ {esquerda, direita, cima}

Quem faz a ação é o agente.

2] política

política $\pi$ : De acordo com o estado observado, toma decisões e controla o movimento do agente.

$\cdot$ Função política$\pi$ :$(s,a)$ → [0, 1]:
$\pi (a|s)=P(A=a|S=s).$
$\cdot$ É a probabilidade de realizar a ação$A=um$ dado$s$ , por exemplo,
$\cdot \pi (left|s)=\mathrm{0,2},$
$\cdot \pi (right|s)=\mathrm{0,1},$
$\cdot \pi (up|s)=\mathrm{0,7.}$
$\cdot$ Ao observar o estado$S=s$ , a ação A do agente pode ser aleatória.

3] recompensa

recompensa $R$
$\cdot$ Colete uma moeda:$R$ = +1
$\cdot$ Ganhe o jogo:$R$ = +10000
$\cdot$ Toque em um Goomba:$R$ = -10000
       \;\;\;(fim do jogo)
$\cdot$ Nada acontece:$R$ = +1

4] transição de estado

         \;\;\;\;estado antigo $\stackrel{ação\_\_\_\_}{⟶}$novo estado
$\cdot$ Por exemplo, a ação “para cima” leva a um novo estado.
$\cdot$ A transição de estado pode ser aleatória.
$\cdot$ Ramdom é do ambiente.
$\cdot$ $p(s^{{}^{\prime }}|s,a)$ =$P(S^{{}^{\prime }}=s|S=s,A=a).$

5] interação do ambiente do agente

O ambiente aqui é um programa de jogo, o agente é Mary e o estado $s_{}$é o que o ambiente nos diz. Em super Mary, podemos tirar a foto atual como o ambiente $s_{}$. quando vemos o estado st, precisamos fazer uma ação $a_{}$, que pode ser esquerda, cima, direita.

Depois de fazer a ação $a_{}$, obteremos um novo estado e uma recompensa $r_{}$.

2. Aleatoriedade no Aprendizado por Reforço

1] Ação tem aleatoriedade

$\cdot$ Estado dado$s$ , a ação pode ser aleatória, por exemplo,.
         \;\;\;\;$\cdot$ $\pi ("left|s")=\mathrm{0,2}$
         \;\;\;\;$\cdot$ $\pi ("right|s")=\mathrm{0,1}$
         \;\;\;\;$\cdot$ $\pi ("up|s")\_=\mathrm{0,7}$

As ações são amostradas pela função pocily .

2] As transições de estado têm aleatoriedade

$\cdot$ Estado dado$S=s$ e ação$A=a$ , o ambiente gera aleatoriamente um novo estado$S^{{}^{’}}$ .

O novo estado é amostrado pelafunção de transição de estado.

3. Jogue usando IA

$\cdot$ Observe um quadro (estado$s_{}$)
$\cdot$$\Rightarrow$ Transforme a ação$a_{}$(esquerda, direita ou para cima)
$\cdot$$\Rightarrow$ Observe um novo quadro (estado$s_{}$) e recompensa $r_{}$
$\cdot$$\Rightarrow$ Transforme a ação$a_{}$
$\cdot$$\Rightarrow$ …

$\cdot$ (estado, ação, recompensa) trajetória:
$s_{},a_{},r_{},s_{},a_{},r_{},......,s_{},a_{},r_{}.$

4. Recompensas e devoluções (importante)

4.1 Repetir

Definição: Retorno (recompensa futura cumulativa)

$\cdot$ ${você}_{}=R_{}+R_{t+}+R_{t+}+R_{t+}+...$

Pergunta: São $R_{}$e $R_{t+}$igualmente importante?
$\cdot$ Qual dos seguintes você prefere?
       \;\;\;$\cdot$ Eu lhe dou $ 100 agora.
       \;\;\;$\cdot$ Darei a você $ 100 um ano depois.
$\cdot$ A recompensa futura é menos valiosa do que a recompensa presente.
$\cdot$ $R_{t+}$deve receber menos peso do que $R_{}$

Definição: Retorno com desconto (recompensa futura com desconto cumulativo)

$\cdot$ $\gamma$ : taxa de desconto (hiperparâmetro de ajuste).

$\cdot$ ${você}_{}=R_{}+\gamma R_{t+}+c^{2R}{\_}_{t+}+c^{3R}{\_}_{t+}+...$

4.2 Aleatoriedade nos retornos

Definição: Retorno descontado (na etapa de tempo t)

$\cdot$ ${você}_{}=R_{}+R_{t+}+R_{t+}+R_{t+}+...$

No intervalo de tempo t, o retorno ${você}_{}$é aleatório.
$\cdot$ Duas fontes de aleatoriedade:
         \;\;\;\;1. A ação pode ser aleatória: $P[A=a|S=s]=\pi (a|s).$
         \;\;\;\;2. O novo estado pode ser aleatório: $P[S^{{}^{\prime }}=s|S=s,A=um]=p(s^{{}^{\prime }}|s,a).$

$\cdot$ Para qualquer i$\ge$ t, a recompensa$R_{}$depende de $S_{}$e $A_{}$.

$\cdot$ Assim, dado$s_{}$, o retorno ${você}_{}$depende das variáveis ​​aleatórias:
       \;\;\;$\cdot$ $A_{},A_{t+},A_{t+},...$ e$S_{t+},S_{t+},...$

5. Função de valor

5.1 Função de valor de ação $Q(s,a)$

Definição: Retorno (recompensa futura cumulativa)
$\cdot$ ${você}_{}=R_{}+R_{t+}+R_{t+}+R_{t+}+...$

Definição: Função de valor de ação para a política $\pi$
$\cdot$ $Q_{}(s_{},a_{})=E[U_{}|S_{}=s_{},A_{}=a_{}]$

$\cdot$ Retorno${você}_{}$(variável aleatória) depende das ações $A_{},A_{t+},A_{t+},...$ e$S_{},S_{t+},S_{t+},...$

$\cdot$ As ações são aleatórias:$P[A=a|S=s]=\pi (a|s).$(função de política)

$\cdot$ Os estados são aleatórios:$P[S^{{}^{\prime }}=s|S=s,A=um]=p(s^{{}^{\prime }}|s,a).$(Estado de transição)

A função de valor de ação representa: se a função de política for usada $\pi$ , então se é bom ou ruim agir$a_{}$no estado de $s_{}$, conhecemos a função política $\pi$ , Você pode pontuar todas as ações$a$ no estado atual.

Definição: função de valor de ação ideal
$\cdot$ $Q_{pi}^{}(s_{},a_{})=\underset{pi}{\mathrm{ma}}$ $Q_{pi}^{}(s_{},a_{})$
Avalie a ação$a$ para contar a melhor ação.

5.2 Função Estado-Valor $V\left(s\right)$

Definição: Função de valor de estado
$\cdot$ $V_{}\left(s_{}\right)=$ $E_{}\left[Q_{pi}^{}\right(s_{},A)]={\sum }_{}\pi (a|s_{})\cdot Q_{}(s_{},a)$ . (As ações são discretas)

$\cdot$ $V_{}\left(s_{}\right)=$ $E_{}\left[Q_{pi}^{}\right(s_{},A)]=\int \pi (a|s_{})\cdot Q_{}(s_{},a)da$ . (As ações são contínuas)

$V_{}\left(s_{}\right)$ poderia fazer um julgamento sobre a situação atual e nos dizer se vamos ganhar ou perder, ou outros.

5.3 Compreendendo as funções de valor

$\cdot$ Função de valor de ação:$Q_{}(s_{},a_{})=E[U_{}|S_{}=s_{},A_{}=a_{}]$ .
$\cdot$ Para política$\pi$ ,$Q_{}(s,a)$ avalia o quão bom é para um agente escolher a ação$um$ tempo estando no estado$s$ .

$\cdot$ Função de estado-valor:$V_{}\left(s_{}\right)=E_{}\left[Q_{pi}^{}\right(s_{},A)]$
$\cdot$ Para política fixa$\pi$ ,$V_{}\left(s\right)$ avalia quão boa é a situação no estado$s$ .
$\cdot$ $E_{}\left[V_{}\right(s)]$ avalia quão boa é a política$\pi$ é.

6. Como a IA controla o agente?

Suponha que temos uma boa política $\pi (a|s)$ .
$\cdot$ Ao observar o estado$s_{},$
$\cdot$ amostragem aleatória:$a_{}\backsim \pi (\cdot |s_{})$ .

Suponha que conheçamos a função de valor de ação ideal $Q^{\ast }(s,a)$ .
$\cdot$ Ao observar o estado$s_{},$
$\cdot$ escolha a ação que maximiza os valores:$a_{}=argma{x}_{}{Q}^{\ast }(s_{},a).$

7. Resumo

Agente, Meio Ambiente, Estado $s$ , Ação$a$ , Recompensa$r$ , Política$\pi (a|s)$ , Transição de estado$p(s^{{}^{\prime }}|s,a)$.

Retorno: ${você}_{}=R_{}+\gamma R_{t+}+c^{2R}{\_}_{t+}+c^{3R}{\_}_{t+}+...$

Função de valor de ação: $Q_{}(s_{},a_{})=E[U_{}|S_{}=s_{},A_{}=a_{}]$ .

Função de valor de ação ideal: $Q_{pi}^{}(s_{},a_{})=\underset{pi}{\mathrm{ma}}$ $Q_{pi}^{}(s_{},a_{})$ .

Função de valor de estado: $V_{}\left(s_{}\right)=$ $E_{}\left[Q_{pi}^{}\right(s_{},A)]$