(2) Fundação de aprendizagem por reforço profundo [aprendizagem de valor]

Aprendizagem por Reforço Baseada em Valor

revisão :

Definição: Retorno descontado(recompensa futura descontada cumulativa)
$\cdot$ ${você}_{}=R_{}+\gamma R_{t+}+c^{2R}{\_}_{t+}+c^{3R}{\_}_{t+}+...$

$\cdot$ O retorno depende da ação$A_{},A_{t+},A_{t+},...$ e estados$S_{},S_{t+},S_{t+},...$
$\cdot$ As ações são aleatórias:$P[A=a|S=s]=\pi (a|s).$        \;\;\;(Função de política)
$\cdot$ Os estados são aleatórios:$P[S^{{}^{\prime }}=s^{{}^{\prime }}|S=s,A=um]=p(s^{{}^{\prime }}|s,a).$        \;\;\;(Estado de transição)

Definição: Função de valor de ação para a política $.\_$
$\cdot$ $Q_{}(s_{},a_{})=E[U_{}|S_{}=s_{},A_{}=a_{}].$

$\cdot$ Ações tomadas$A_{t+},A_{t+},A_{t+},...$ e estados$S_{t+},S_{t+},S_{t+},...$
$\cdot$ Integre tudo, exceto as observações:$A_{}=a_{}$e $S_{}=s_{}.$

Definição: função de valor de ação ideal
$\cdot$ $Q^{\ast }(s_{},a_{})=\underset{pi}{\mathrm{ma}}{Q}_{}(s_{},a_{}).$
$\cdot$ Qualquer que seja a função de política$\pi$ é usado, o resultado de tomar$a_{}$no estado $s_{}$não pode ser melhor que $Q^{\ast }(s_{},a_{}).$

1. Rede Q profunda (DQN)

Objetivo: Ganhar o jogo( $\approx$ maximizar a recompensa total.)

Questão: Se conhecemos $Q^{\ast }(s,a)$ , qual é a melhor ação?
$\cdot$ Obviamente, a melhor ação é$a^{\ast }=arg\underset{a}{\mathrm{ma}}{Q}^{\ast }(s,a).$
$(Q^{*}$ é uma indicação de quão bom é para um agente escolher a ação$um$ tempo estando no estado$s$ ).
$Q^{\ast }$ é um profeta que sempre pode nos guiar para fazer ações. Mas, na verdade, é impossível aproximar-se de um profeta onipotente.

Desafio: Não sabemos $Q^{\ast }(s,a).$
$\cdot$ Solução: Deep Q Network(DQN)
$\cdot$ Use a rede neural$Q^{\ast }(s,um,w)$ para aproximar$Q^{\ast }(s,a)$ .

$w$ é o parâmetro da rede neural,$s$ é a entrada e a saída da rede neural é muitos valores, que são as pontuações possíveis de todas as ações. Treinamos a rede por meio de recompensas, e a pontuação dessa rede vai melhorando gradativamente e se tornando cada vez melhor.

Rede Q profunda:
$\cdot$ Forma de entrada: tamanho da captura de tela.
$\cdot$ Forma de saída: dimensão do espaço de ação (pontuação de cada ação).

Pergunta: Com base nas previsões, qual deve ser a ação?
Resposta: Se a pontuação dessa ação for alta, qual ação deve ser usada.

2. Aprendizagem por Diferença Temporal (TD)

O método mais comumente usado para treinar DQN é o algoritmo TD.

Exemplo

$\cdot$ Quero dirigir de Nova York para Atlanta.
$\cdot$ Modelo Q($w$ ) estima o custo de tempo, por exemplo, 1000 minutos.

Pergunta: Como faço para atualizar o modelo?

$\cdot$ Faça uma previsão:$q=Q\left(w\right),e.g.,q=1000.$

$\cdot$ Termine a viagem e obtenha o alvo $ y, por exemplo, y = 860.$

$\cdot$ Perda:$eu=\frac{}{2}(q-y{)}^2.$

$\cdot$ Gradiente:$\frac{\partial L}{\partial w}=\frac{\partial q}{\partial w}\cdot \frac{\partial L}{\partial q\_}=(q-y)\cdot \frac{\partial Q(w}{\partial w}.$

$\cdot$ Descida do gradiente:$c_{t+}=c_{}-a\cdot \frac{\partial L}{\partial w}{|}_{w=w_{}}.$

$\cdot$ Posso atualizar o modelo antes de terminar a viagem?
$\cdot$ Posso obter um$w$ assim que cheguei em DC?

Aprendizagem por Diferença Temporal (TD)

$\cdot$ Estimativa do modelo:

                       \;\;\;\;\;\;\;\;\;\;\;NYC para Atlanta: 1000 minutos (estimativa).

$\cdot$ Cheguei em DC; custo de tempo real:

                       \;\;\;\;\;\;\;\;\;\;\;NYC para DC: 300 minutos (real).

$\cdot$ O modelo agora atualiza sua estimativa:
                       \;\;\;\;\;\;\;\;\;\;\;DC para Atlanta: 600 minutos (estimativa)

$\cdot$ Estimativa do modelo:$Q\left(w\right)=1000minutos\_\_\_$

$\cdot$ Estimativa atualizada:$300+600=900minutes\left(TDalvo\right).\_\_\_\_\_\_$

$\cdot$ Alvo TD$y=900$ é uma estimativa mais confiável do que$1000$ .

$\cdot$ Perda:$eu=\frac{}{2}$ $\underset{\text{erro TD}}{\underbrace{\left(Q\right(w)-y}}$${}^2.$

$\cdot$ Gradiente:$\frac{\partial L}{\partial w}=\underset{\text{erro TD}}{\underbrace{(1000-900}}\cdot \frac{\partial Q(w}{\partial w}.$

$\cdot$ Descida do gradiente:$c_{t+}=c_{}-a\cdot \frac{\partial L}{\partial w}{|}_{w=w_{}}.$

3. Por que o aprendizado de TD funciona?

$\cdot$ Estimativas do modelo:
           \;\;\;\;\;NYC para Atlanta: $1000$ minutos.
           \;\;\;\;\;DC para Atlanta: $600$ minutos.
           \;\;\;\;\;$\Rightarrow$ NYC para DC:$400$ minutos.

$\cdot$ Dados básicos:
           \;\;\;\;\;NYC para DC: $300$ minutos.

$\cdot$ Erro TD:$d=400-300=100$

4. Como aplicar o aprendizado de TD ao DQN?

$\cdot$ No exemplo “tempo de condução”, temos a equação:
$\underset{\text{Estimativa do modelo}}{\underbrace{T_{NYC\to AT}}}\approx \underset{\text{Tempo real}}{\underbrace{T_{NYC\to D}}}+\underset{\text{Estimativa do modelo}}{\underbrace{T_{DC\to AT}}}.$

O acima é a forma do algoritmo TD.

$\cdot$ No aprendizado por reforço profundo:
$Q(s_{},a_{},w)\approx r_{}+c\cdot Q(s_{t+},a_{t+};w).$

Prove



  \,
  \,

5. Resumo

Definição: Função ótima de valor de ação.

$\cdot$ $Q^{\ast }(s_{},a_{})=\underset{pi}{\mathrm{ma}}E[U_{}|S_{}=s_{},A_{}=a_{}].$

O $Q^{A\; função\; \ast }$ pode pontuar todas as ações com base no estado atual e a pontuação pode refletir a qualidade de cada estado. Enquanto houver um$Q^{\ast }$ , pode ser usada para controlar o movimento do agente. A cada momento, o agente só precisa selecionar a ação com maior pontuação para executar esta ação. No entanto, não temos$Q^{função\; \ast }$ . O objetivo do aprendizado de valor é aprender uma função para aproximar$Q^{função\; \ast }$ , então temos$DQN$ .$\_$

DQN: Aproximadamente $Q^{\ast }$ (s,a) usando uma rede neural (DQN).

$\cdot$ $Q^{\ast }(s,um;w)$ é uma rede neural parametrizada por$w$ .

$\cdot$ Entrada: estado observado$s$ .

$\cdot$ Saída: pontuações para toda a ação$a\in A.\_$