1. Ideia de algoritmo
QLearning é um algoritmo baseado em valor em algoritmos de aprendizagem por reforço, Q significa que em um determinado ambiente, Q (estado, ação) executa a ação a (a∈A) no estado s (s∈S) em um determinado momento. Pela expectativa de ganho de receita, o ambiente irá retroalimentar a recompensa correspondente r (pontuação) de acordo com as ações do agente.
Portanto, a ideia principal do algoritmo é construir uma tabela Q de estado e ação para armazenar o valor de Q e então selecionar a ação que pode obter o maior benefício com base no valor de Q.
2. Exemplos e fórmulas básicas
Exemplo : Começar do ponto inicial e alcançar o círculo final é uma vitória - pontos extras, e um triângulo é uma derrota - deduções. A primeira rodada é um passeio aleatório, até que haja uma pontuação, ela será seguida por uma alta probabilidade.
- Cubo de agente
- Ambiente (ambiente) - aqui é simulado na forma tk
- Recompensa - a pontuação de recompensa e punição pela ação
- Ação para cima, para baixo, esquerda e direita
O problema pode ser resumido em um processo de decisão Markov.
Cada grade é considerada como um estado s
q (a | s) é
a probabilidade de realizar uma ação a no estado s p (s '| s, a) é a probabilidade de escolher uma ação para fazer a transição para o próximo estado s' no estado s
R (s '| s, a) representa a recompensa de tomar a ação ae transferir para os estados s'in s
O objetivo é encontrar uma estratégia que possa chegar ao fim para obter a recompensa máxima e obter a fórmula de recompensa máxima:
A principal vantagem do Qlearning é o uso de 时间差分法TD (uma combinação de Monte Carlo e programação dinâmica) para realizar o aprendizado offline, e o uso de equações de Bellman para resolver a estratégia ótima para o processo de Markov.
Veja: Método de diferença de tempo
Fórmula central :
Atualização oficial :
Código do núcleo:
import numpy as np
import random
from environment import Env
from collections import defaultdict
class QLearningAgent:
def __init__(self, actions):
# actions = [0, 1, 2, 3]
self.actions = actions # 动作
self.learning_rate = 0.01 # 学习率
self.discount_factor = 0.9 # 折扣因子
self.epsilon = 0.1 # [ˈepsɪlɒn]
self.q_table = defaultdict(lambda: [0.0, 0.0, 0.0, 0.0])
# 采样 <s, a, r, s'>
def learn(self, state, action, reward, next_state):
current_q = self.q_table[state][action]
# 贝尔曼方程更新
new_q = reward + self.discount_factor * max(self.q_table[next_state])
self.q_table[state][action] += self.learning_rate * (new_q - current_q)
# 从Q-table中选取动作
def get_action(self, state):
if np.random.rand() < self.epsilon:
# 贪婪策略随机探索动作
action = np.random.choice(self.actions)
else:
# 从q表中选择
state_action = self.q_table[state]
action = self.arg_max(state_action) # 选组最大效益动作
return action
# 选取最大分数
@staticmethod
def arg_max(state_action):
max_index_list = []
max_value = state_action[0]
for index, value in enumerate(state_action):
if value > max_value:
max_index_list.clear()
max_value = value
max_index_list.append(index)
elif value == max_value:
max_index_list.append(index)
return random.choice(max_index_list)
if __name__ == "__main__":
env = Env() # 初始化tk窗口
agent = QLearningAgent(actions=list(range(env.n_actions))) # 初始化物体实例
for episode in range(1000):
state = env.reset()
while True:
env.render()
# agent产生动作
action = agent.get_action(str(state))
next_state, reward, done = env.step(action)
# 更新Q表 -- 核心更新公式
agent.learn(str(state), action, reward, str(next_state))
state = next_state
env.print_value_all(agent.q_table)
# 当到达终点就终止游戏开始新一轮训练
if done:
break
Outro exemplo de aprendizagem Q: Flappy Bird (Flying Bird)
Exemplo de aprendizagem Q: Flappy Bird
