前言
最近在学习强化学习( Reinforcement Learning )，自学过程包括理论学习部分与算法学习部分。理论学习部分安利一本书籍 Richard S. Sutton 的 Reinforcement Learning : An Introduction；算法学习主要为使用 OpenAI Gym，学习强化学习算法，并对不同的强化学习算法进行比较。
安装虚拟机及Ubuntu
链接：https://pan.baidu.com/s/1FFF67jgTDH2DDqV0-q0vzQ 密码：ikgn
链接里面有 VMware 安装包以及两个 Ubuntu 的镜像，ubuntu-16.04.3-desktop-amd64 是官网下载的 Ubuntu16.04 镜像， deepin-15.7-amd64 是深度镜像，注意两个镜像都是适用于 64 位操作系统的，有其他系统需求的可自行下载。
① 安装虚拟机
安装VMware一直下一步就行，安装目录默认是在 C 盘，最好修改到其他盘。
② 安装Ubuntu
- 新建虚拟机；
- 选择“典型”，然后直接下一步；
- 选择“稍后安装操作系统”，然后下一步；
- 选择“linux”下安装“Ubuntu”，然后下一步；
- 给虚拟机命名，修改安装目录，然后下一步；
- 给虚拟机设定硬盘大小，选择“将虚拟磁盘存储为单个文件”，然后下一步；
- 点击“自定义硬件”进行设置，内存大小和处理器个数按需求设置，网络默认选择 NAT 不更改，然后在 CD/DVD 项选择“使用 ISO 映像文件”，添加已经下载好的Ubuntu镜像文件，然后关闭该窗口，完成虚拟机的设置。
- 然后点“开启此虚拟机”，开始安装Ubuntu；
- 安装过程中会提示选择时区，设置用户名及密码，只要按照提示完成即可，至此就完成了Ubuntu的安装。
安装Gym
① 安装 Anaconda
在安装 Gym 之前，建议先安装 Anaconda ，Anaconda 自带 Jupyter Notebook ，还自带了很多常用库，能方便地管理环境。
- 下载 Anaconda 安装包，推荐从清华公开镜像网站下载；
下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
我安装的是 Anaconda3-4.3.0 版本 - 安装包会下载在 Downloads 文件夹下，打开终端（Ctrl+Alt+T），先后输入下面两条指令。
cd Downloads
bash Anaconda3-4.3.0-Linux-x86_64.sh
cd Downloads 可以进入 Downloads 文件夹下，bash 指令可以运行 .sh 文件进行安装。
小技巧：使用 Tab 键可以自动补全文件后面的名字，即键入 bash An 然后按 Tab 键。
- 安装过程中，只需要按照提示进行就可以了，当询问是否将路径添加到环境变量中，直接输入 yes ，完成 Anaconda 的安装，你可以在你的主目录下面看到多了一个 anaconda3 的文件夹。
- 然后需要关掉当前的终端，重新开一个终端，环境变量才会生效。
② 利用Anaconda创建一个虚拟环境
- 键入创建虚拟环境的代码：
conda create --name gymlab python=3.5
上面代码的意思是，创建一个名为 gymlab 的虚拟环境，用的是 python3.5 的版本（你可以按自己的需求设置）。
- 在完成这个操作以后会在 anaconda3/envs 目录下多一个名为 gymlab 的文件夹，在该文件夹下的 lib 文件夹中可以看到 python3.5 。
③ 安装Gym
- 开一个新的终端，键入激活虚拟环境的命令：
source activate gymlab
- 键入命令安装 git：
sudo apt install git
- 把 gym 克隆到虚拟机中：
git clone https://github.com/openai/gym.git
- 进入 gym 文件夹：
cd gym
- 进行完全安装：
pip install -e '.[all]'
如果提示没有安装 pip 的话可以先用 sudo apt-get install pip 进行安装。
- 将 gym 安装文件的目录写到环境变量中：
用 vim .bashrc 命令打开 .bashrc 文件
vim .bashrc
在 .bashrc 文件末尾加入下面的语句：
export PYTHONPATH=你的 gym 目录:$PYTHONPATH
- 注意：如果在第5步进行完全安装的时候报错，可以先进行安装依赖项，安装依赖项的命令如下：
sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
！！！特别要注意 zlib1g-dev 中的第5个是数字1，不是字母l
至此已经完成了 Gym 的安装，如果之前的步骤都已经顺利完成，接下来就可以进行简单的 demo 运行啦。
④ 简单 demo 运行
- 开一个终端，用 source activate gymlab 激活 Anaconda 创建的虚拟环境：
source activate gymlab
- 运行python：
python
- 导入 Gym ：
import gym
- 创建小车倒立摆的模型环境：
env = gym.make('CartPole-v0')
- 初始化环境：
env.reset()
- 刷新当前环境并进行显示：
env.render()
7.通过前面这6行简单的代码，我们可以看到一个小车倒立摆的系统画面：
