官网没有原生的支持：
https://github.com/openai/gym#installation
目前，OpenAI Gym在Linux和OSX上支持Python 2.7。如果大家有足够的兴趣，他们也会考虑支持Python 3和Windows。
参考链接：http://www.infoq.com/cn/news/2016/05/OpenAI-Gym
OpenAI Gym Atari on Windows
参考链接：https://stackoverflow.com/questions/42605769/openai-gym-atari-on-windows/43283856
参考链接：https://blog.csdn.net/cs123951/article/details/71171260
不过 OpenAI gym 暂时只支持 MacOS 和 Linux 系统. Windows 已经支持, 但是听说还没有全面支持, 大家时不时查看下官网, 可能就有惊喜.
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/4-4-gym/