1.設置環境
Gymは、強化学習アルゴリズムを開発および比較するためのツールキットです。Pythonでジムライブラリとそのサブシナリオを簡単にインストールできます。
ジムを設置する：
pip install gym
Edouard Leurent（リンク：https：//github.com/eleurent/highway-env）によってgithubで公開されているパッケージhighway-envを使用して、自動操縦モジュールをインストールします。
pip install --user git+https://github.com/eleurent/highway-env
6つのシナリオが含まれています。
-
高速道路-「highway-v0」
-
インポート-"merge-v0"
-
ラウンドアバウト-「roundabout-v0」
-
駐車場-「parking-v0」
-
交差点-「交差点-v0」
-
競馬場-「racetrack-v0」
詳細なドキュメントはここにあります：https：//highway-env.readthedocs.io/en/latest/
第二に、構成環境
インストール後、コードを試すことができます（例として高速道路のシーンを取り上げます）。
import gym
import highway_env
%matplotlib inline
env = gym.make('highway-v0')
env.reset()
for _ in range(3):
action = env.action_type.actions_indexes["IDLE"]
obs, reward, done, info = env.step(action)
env.render()
実行後、シミュレータで次のシーンが生成されます。
緑は自我車両の環境クラスです。設定できるパラメータはたくさんあります。詳細については、元のドキュメントを参照してください。
第三に、トレーニングモデル
1.データ処理
（1）状態
highway-envパッケージにはセンサーが定義されておらず、すべての車両の状態（観測）が基礎となるコードから読み取られるため、多くの先行作業が節約されます。ドキュメントによると、状態（ovservations）には、キネマティクス、グレースケールイメージ、および占有グリッドの3つの出力方法があります。
キネマティクス
V * Fの行列を出力します。ここで、Vは観察される車両の数（自我車両自体を含む）を表し、Fはカウントされる特徴の数を表します。例：
データが生成されると、デフォルトで正規化されます。値の範囲は[100、100、20、20]です。エゴビークル以外のビークル属性をマップの絶対座標またはマップの絶対座標に設定することもできます。エゴビークルに対する相対座標。
環境を定義するときは、機能のパラメータを設定する必要があります。
config = \
{
"observation":
{
"type": "Kinematics",
#选取5辆车进行观察（包括ego vehicle）
"vehicles_count": 5,
#共7个特征
"features": ["presence", "x", "y", "vx", "vy", "cos_h", "sin_h"],
"features_range":
{
"x": [-100, 100],
"y": [-100, 100],
"vx": [-20, 20],
"vy": [-20, 20]
},
"absolute": False,
"order": "sorted"
},
"simulation_frequency": 8, # [Hz]
"policy_frequency": 2, # [Hz]
}
グレースケール画像
W * Hのグレースケール画像を生成します。ここで、Wは画像の幅を表し、Hは画像の高さを表します。
占有グリッド
WHFの3次元マトリックスを生成し、W * Hテーブルを使用して、自我車両の周囲の車両の状況を表します。各グリッドにはF個の特徴が含まれています。
（2）アクション
highway-envパッケージのアクションは、連続と離散の2つのタイプに分けられます。連続アクションはスロットルとステアリング角度の値を直接定義でき、離散アクションには5つのメタアクションが含まれます：
ACTIONS_ALL = {
0: 'LANE_LEFT',
1: 'IDLE',
2: 'LANE_RIGHT',
3: 'FASTER',
4: 'SLOWER'
}
（3）報酬
駐車シーンを除いて、同じ報酬関数がhighway-envパッケージで使用されます。
この関数はソースコードでのみ変更でき、外層で調整できるのは重みのみです。（駐車シーンの報酬機能は元のドキュメントにあり、数式を入力するには怠惰です...）
2.モデルを作成します
DQNネットワークの構造と構築プロセスについては、別の記事で説明しているので、ここでは詳しく説明しません。最初の状態表現であるキネマティクスをデモンストレーションに使用します。
状態データが少ないため（5台* 7個の特徴）、CNNの使用や入力を考慮せずに、2次元データのサイズ[5,7]を[1,35]に直接変換できます。モデルは35です。出力は、個別のアクションの数で、合計5つです。
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.nn.functional as F
import torch.optim as optim
import torchvision.transforms as T
from torch import FloatTensor, LongTensor, ByteTensor
from collections import namedtuple
import random
Tensor = FloatTensor
EPSILON = 0 # epsilon used for epsilon greedy approach
GAMMA = 0.9
TARGET_NETWORK_REPLACE_FREQ = 40 # How frequently target netowrk updates
MEMORY_CAPACITY = 100
BATCH_SIZE = 80
LR = 0.01 # learning rate
class DQNNet(nn.Module):
def __init__(self):
super(DQNNet,self).__init__()
self.linear1 = nn.Linear(35,35)
self.linear2 = nn.Linear(35,5)
def forward(self,s):
s=torch.FloatTensor(s)
s = s.view(s.size(0),1,35)
s = self.linear1(s)
s = self.linear2(s)
return s
class DQN(object):
def __init__(self):
self.net,self.target_net = DQNNet(),DQNNet()
self.learn_step_counter = 0
self.memory = []
self.position = 0
self.capacity = MEMORY_CAPACITY
self.optimizer = torch.optim.Adam(self.net.parameters(), lr=LR)
self.loss_func = nn.MSELoss()
def choose_action(self,s,e):
x=np.expand_dims(s, axis=0)
if np.random.uniform() < 1-e:
actions_value = self.net.forward(x)
action = torch.max(actions_value,-1)[1].data.numpy()
action = action.max()
else:
action = np.random.randint(0, 5)
return action
def push_memory(self, s, a, r, s_):
if len(self.memory) < self.capacity:
self.memory.append(None)
self.memory[self.position] = Transition(torch.unsqueeze(torch.FloatTensor(s), 0),torch.unsqueeze(torch.FloatTensor(s_), 0),\
torch.from_numpy(np.array([a])),torch.from_numpy(np.array([r],dtype='float32')))#
self.position = (self.position + 1) % self.capacity
def get_sample(self,batch_size):
sample = random.sample(self.memory,batch_size)
return sample
def learn(self):
if self.learn_step_counter % TARGET_NETWORK_REPLACE_FREQ == 0:
self.target_net.load_state_dict(self.net.state_dict())
self.learn_step_counter += 1
transitions = self.get_sample(BATCH_SIZE)
batch = Transition(*zip(*transitions))
b_s = Variable(torch.cat(batch.state))
b_s_ = Variable(torch.cat(batch.next_state))
b_a = Variable(torch.cat(batch.action))
b_r = Variable(torch.cat(batch.reward))
q_eval = self.net.forward(b_s).squeeze(1).gather(1,b_a.unsqueeze(1).to(torch.int64))
q_next = self.target_net.forward(b_s_).detach() #
q_target = b_r + GAMMA * q_next.squeeze(1).max(1)[0].view(BATCH_SIZE, 1).t()
loss = self.loss_func(q_eval, q_target.t())
self.optimizer.zero_grad() # reset the gradient to zero
loss.backward()
self.optimizer.step() # execute back propagation for one step
return loss
Transition = namedtuple('Transition',('state', 'next_state','action', 'reward'))
3.実行結果
各パーツが完成したら、モデルを組み合わせてモデルをトレーニングできます。プロセスはCARLAの使用と似ているため、詳細については説明しません。
環境を初期化します（DQNクラスを追加するだけです）。
import gym
import highway_env
from matplotlib import pyplot as plt
import numpy as np
import time
config = \
{
"observation":
{
"type": "Kinematics",
"vehicles_count": 5,
"features": ["presence", "x", "y", "vx", "vy", "cos_h", "sin_h"],
"features_range":
{
"x": [-100, 100],
"y": [-100, 100],
"vx": [-20, 20],
"vy": [-20, 20]
},
"absolute": False,
"order": "sorted"
},
"simulation_frequency": 8, # [Hz]
"policy_frequency": 2, # [Hz]
}
env = gym.make("highway-v0")
env.configure(config)
モデルをトレーニングします。
dqn=DQN()
count=0
reward=[]
avg_reward=0
all_reward=[]
time_=[]
all_time=[]
collision_his=[]
all_collision=[]
while True:
done = False
start_time=time.time()
s = env.reset()
while not done:
e = np.exp(-count/300) #随机选择action的概率，随着训练次数增多逐渐降低
a = dqn.choose_action(s,e)
s_, r, done, info = env.step(a)
env.render()
dqn.push_memory(s, a, r, s_)
if ((dqn.position !=0)&(dqn.position % 99==0)):
loss_=dqn.learn()
count+=1
print('trained times:',count)
if (count%40==0):
avg_reward=np.mean(reward)
avg_time=np.mean(time_)
collision_rate=np.mean(collision_his)
all_reward.append(avg_reward)
all_time.append(avg_time)
all_collision.append(collision_rate)
plt.plot(all_reward)
plt.show()
plt.plot(all_time)
plt.show()
plt.plot(all_collision)
plt.show()
reward=[]
time_=[]
collision_his=[]
s = s_
reward.append(r)
end_time=time.time()
episode_time=end_time-start_time
time_.append(episode_time)
is_collision=1 if info['crashed']==True else 0
collision_his.append(is_collision)
コードにいくつかの描画関数を追加しました。実行中のプロセス中にいくつかの主要なインジケーターを習得し、40回のトレーニングごとに平均を数えることができます。
平均衝突率：
平均エポック期間（秒）：
平均報酬：
トレーニングの回数が増えると、平均衝突率は徐々に低下し、各エポックの期間は徐々に増加することがわかります（衝突が発生した場合、エポックはすぐに終了します）
-終わり-
コードをスキャンして追加してください：python
