本文目前主要是写给自己的一个笔记,接下来这段时间会逐步记录我是怎么通过学习使用TensorFlow+Keras训练神经网络自己玩儿游戏,如果能间接帮助到他人就最好不过了,不喜勿喷。
目前准备使用第一层卷积神经网络,第二层LSTM的方式通过DQN增强学习的方式来训练这个神经网络。
我是在Windows7上运行的,做完了会把代码放到GitHub上
资源:IDE:PyCharm,如果是学生的话只需要给你的学生邮箱(带edu字样)发个邮件就能使用正版了,网上还有很多破解可以自己百度。
Python环境,Anaconda,是我见过最好的Python环境了,已经集成了很多工具包,同学们可以自己百度安装使用。
我的Keras基础是看莫烦大神的视频学习的,讲的很好很简单。点击文字就是连接。
看了视频会发现其实搭建一个神经网络还是很简单的。接下来就需要看怎么获取游戏界面了。
开源游戏环境Gym是一个国外的开源测试平台,专门用来测试增强学习的,里面可以调用各式各样的游戏。可以通过
pip install gym安装,也能直接在 GitHub上下载源码安装,如下图所示anaconda里安装需要在开始菜单中打开anaconda prompt再执行命令安装,看下图终点的标题。
下面来看看这个Gym是怎么玩儿的 嘿嘿
# -*- coding: UTF-8 -*- if __name__ == '__main__': print('开始学习') import gym env = gym.make('CartPole-v0') env.reset() for _ in range(1000): env.render() env.step(env.action_space.sample()) # take a random action
使用官方网址的代码可以看到这个效果:http://s3-us-west-2.amazonaws.com/rl-gym-doc/cartpole-no-reset.mp4
这个显然是没有经过控制的游戏。
还可以改变游戏名称来玩儿其他游戏,这时候发现通过pip版本能玩儿的游戏有限,使用pip install -e .[all]
注册所有游戏,再次之前需要在GitHub上下载源文件,并且通过anaconda prompt 进入到你下载的目录下 执行这个命令如图
我的是下载到E:\AIGame\gym-master,下载完后看看效果,看样子下载的有点久
跑到这里发现需要安装TensorFlow,但是我这台电脑好像还没有安装,所以安装装Keras的方式装一下
到了这里发现还是有错误!!!网上查了很多资料,差点发现Windows不支持gym的其他游戏!
但是最后找到了一行命令完美解决了
pip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py
用这行命令就能下载Atari的游戏了
好的!今天游戏这个阶段就准备好了~我发现要一边写博客一边开发还是一件很费时间的事情啊。。。。。。
下一篇主要看GYM给我们提供的接口,以及怎么用它