文章目录
前言
在某些python的开发项目中，或跑一些demo，例如tensorflow的demo，要求python3.5以上的版本，若原系统环境只有python2.7.5，显然无法满足测试环境。若为系统安装python3.5+，有些库又会造成版本冲突，因此需要使用python的虚拟环境工具来解决这些矛盾。当然也可采用python的docker镜像，使用一个镜像独立环境运行项目，但相比于python虚拟化工具来说，这种docker镜像显得有点重。
1、python虚拟工具介绍
目前有几种方式创建python的虚拟环境，在python3中有标准库venv，而第三方库例如virtualenv、virtualenvwrapper、pyenv，那么在项目或者说在实际开发里面，选哪种工具更为适合？
1.1 virtualenv
virtualenv 是目前较为常用的 python 虚拟环境配置工具。它不仅同时支持 python2 和 python3，而且可以为每个虚拟环境指定 python 解释器（要求系统已经安装了不同版本的python），并选择不继承基础版本的site-packages。
1.2 virtualenvwrapper
virtualenvwrapper是virtualenv的一个封装，目的是使后者更好用。virtualenv在使用中，每次得去虚拟环境所在目录下的 bin 目录下 source activate，也即当有多个虚拟环境时，得每次都去找对应的目录，virtualenvwrapper将所有的虚拟环境目录全都集中起来统一管理，避免每次开启虚拟环境时候的source 项目目录操作。
1.3 venv
Python 从3.3 版本开始，自带了一个虚拟环境 venv，在 PEP-405 中可以看到它的详细介绍。它的很多操作都和 virtualenv 类似。也支持linux和win。venv也有局限性，例如当前系统python版本为3.5，那么venv只能在当前安装的python3.5版本，不能创建其它Python 3.x的版本以及Python 2的环境。
1.4 pyenv
pyenv主要用来安装、管理Python的版本及其虚拟环境，比如一个项目需要Python2.x，一个项目需要Python3.x。而virtualenv主要用来管理Python包的依赖。不同项目需要依赖的包版本不同，则需要使用虚拟环境。pyenv通过系统修改环境变量来实现Python不同版本的切换。前面的三个工具都是用于虚拟环境切换，pyenv是 Python 版本环境切换工具，将这两套工具结合使用，可以完美解决 python 多版本环境的问题。具体实例在第4节给出。
2、使用virtualenv创建和管理虚拟环境
2.1 为多个python版本安装相应的pip
centos7.5默认没有pip包，因此需求手动安装，本文系统已经安装python2.7和python3.6。这里给出python2.7的pip安装和python3.6的pip3安装。
pip安装依赖setuptools，首先为python2和python3安装相应setuptools
[root@localhost local]# pwd
/usr/local
[root@localhost local]# wget https://files.pythonhosted.org/packages/ab/41/ab6ae1937191de0c9cbc115d0e91e335f268aa1cd85524c86e5970fdb68a/setuptools-42.0.0.zip
[root@localhost local]# unzip setuptools-42.0.0.zip
[root@localhost local] cd setuptools-42.0.0
# 注意这里的python命令是连接到python2.7，所以setuptools库只在python2.7环境生效
[root@localhost setuptools-42.0.0]# python2.7 setup.py install
# 给python3.6安装setuptools
[root@localhost setuptools-42.0.0]# python3.6 setup.py install
这里为何使用python2.7或者python3.6，因为如果想要构建更多python版本，其shell执行命令例如python3.5，python3.7则会显得清晰而不混乱。
为python2和python3安装相应pip，跟setuptools安装流程一致。
[root@localhost local]# pwd
/usr/local
[root@localhost local] wget https://files.pythonhosted.org/packages/ce/ea/9b445176a65ae4ba22dce1d93e4b5fe182f953df71a145f557cffaffc1bf/pip-19.3.1.tar.gz
[root@localhost local]# unzip pip-19.3.1.tar.gz
[root@localhost local] cd pip-19.3.1
# 为python2.7 安装pip，最终命令执行路径在：/usr/local/bin/pip
[root@localhost pip-19.3.1] python2.7 setup.py install
# 为pytho3.6 安装pip，最终命令执行路径：/usr/local/bin/pip3
[root@localhost pip-19.3.1] python3.6 setup.py install
2.2 安装virtualenv
上面已经配置了python2.7环境和python3.6环境，virtualenv库无需在两种环境安装，这里安装到python2.7库下即可。
这里要注意：如果系统已经安装python3版本，且shell已经设定python命令是软链接到python3
[root@localhost opt]# ls -al /usr/bin/python
**** /usr/bin/python -> /usr/bin/python3
那么需要使用pip3安装 virtualenv，这样virtualenv库才会安装到python3的site-packages目录下，
如果shell已经设定python命令是软链接到python2
[root@localhost opt]# ls -al /usr/bin/python
**** /usr/bin/python -> /usr/bin/python2
那么需要使用pip安装 virtualenv，这样virtualenv库才会安装到python2的site-packages目录下。
若不按照上述的环境情况，安装virtualenv，会出现以下情况
[root@localhost opt]# virtualenv -v
Traceback (most recent call last):
File "/usr/bin/virtualenv", line 2, in <module>
import virtualenv
ModuleNotFoundError: No module named 'virtualenv'
当前python是软链到python3，而pip安装的virtualenv是在python2.7路径下，python3并没有virtualenv这个库
[root@localhost opt]# python3
Python 3.6.8 (default, Apr 25 2019, 21:02:35)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import virtualenv
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'virtualenv
virtualenv在python2.7路径下
[root@localhost opt]# python
Python 2.7.5 (default, Aug 7 2019, 00:51:29)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import virtualenv
解决办法：将当前python命令软链到python2
[root@localhost opt]# ln -s /usr/bin/python2 /usr/bin/python
2.3、virtualenv创建虚拟环境
在/opt/pvenv_test目录下，创建一个使用python2.7解释器、且独立安装第三方库的运行环境、名字为crmapp的python2.7项目环境
[root@localhost pvenv_test]# virtualenv --python=python2.7 --no-site-packages crmapp
Running virtualenv with interpreter /usr/bin/python2.7
Already using interpreter /usr/bin/python2.7
No LICENSE.txt / LICENSE found in source
New python executable in /opt/pvenv_test/crmapp/bin/python2.7
Also creating executable in /opt/pvenv_test/crmapp/bin/python
Installing setuptools, pip, wheel...
[root@localhost pvenv_test]# ls
crmapp
[root@localhost crmapp]# ls
bin include lib lib64
# 相关执行命令在bin目录下
# 激活当前环境
[root@localhost crmapp]# source bin/activate
(crmapp) [root@localhost crmapp]#
# 当前虚拟环境pip包没有引入系统的pip包，从而实现包不冲突
(crmapp) [root@localhost crmapp]# pip list
pip (9.0.1)
setuptools (28.8.0)
wheel (0.29.0)
在/opt/pvenv_test目录下，创建一个使用python3.6解释器、且独立安装第三方库的运行环境、名字为djwebsocket的python3.6项目环境
[root@localhost pvenv_test]# virtualenv --python=python3.6 --no-site-packages djwebsocket
Running virtualenv with interpreter /usr/bin/python3.6
Already using interpreter /usr/bin/python3.6
Using base prefix '/usr'
No LICENSE.txt / LICENSE found in source
New python executable in /opt/pvenv_test/djwebsocket/bin/python3.6
Also creating executable in /opt/pvenv_test/djwebsocket/bin/python
Installing setuptools, pip, wheel...
done.
[root@localhost pvenv_test]# source djwebsocket/bin/activate
# 可以看到当前pip包为干净的
(djwebsocket) [root@localhost pvenv_test]# pip list
Package Version
---------- -------
pip 19.3.1
setuptools 42.0.0
wheel 0.33.6
这里的 --python=python3 其实就是 /usr/bin/python3对于的python3.6解释器
3、pyenv终极python版本和虚拟化环境管理工具
有关virtualenvwrapper或者venv的用法，因内容较为简单，这里不再讨论，本文推荐使用pyenv管理任意基于python项目的虚拟环境。
3.1 pyenv的设计原理
pyenv主要用来管理Python的版本，比如一个项目需要Python2.x，一个项目需要Python3.x。而virtualenv主要用来管理Python包的依赖。不同项目需要依赖的包版本不同，则需要使用虚拟环境。
pyenv通过系统修改环境变量来实现Python不同版本的切换。而vitualenv通过Python包安装到一个目录来作为Python虚拟包环境，通过切换目录来实现不同包环境间的切换。
pyenv的设计巧妙的地方在于，在PATH 的最前面插入了一个垫片路径（shims）：~/.pyenv/shims:/usr/local/bin:/usr/bin:/bin。所有对 Python 可执行文件的查找都会首先被这个 shims 路径截获，从而使后方的系统路径失效。
对于系统环境变量 PATH ，里面包含了一串由冒号分隔的路径，例如 /usr/local/bin:/usr/bin:/bin。每当在系统中执行一个命令时，例如 python 或 pip，操作系统就会在 PATH 的所有路径中从左至右依次寻找对应的命令。因为是依次寻找，因此排在左边的路径具有更高的优先级。在PATH 最前面插入一个 $(pyenv root)/shims目录，$(pyenv root)/shims目录里包含名称为python以及pip等可执行脚本文件；当用户执行python或pip命令时，根据查找优先级，系统会优先执行shims目录中的同名脚本。pyenv 正是通过这些脚本，来灵活地切换至我们所需的Python版本。
需要手工去查找python版本的所在路径，如果有多个版本，这种手工管理显得有点繁琐。
3.2 安装pyenv
pyenv安装python需要依赖底层的系统库
[root@localhost bin] yum install -y gcc make patch gdbm-devel openssl-devel sqlite-devel readline-devel zlib-devel bzip2-devel ncurses-devel libffi-devel
若系统库不全，pyenv安装python后，会有如下提示：
[root@localhost bin]# pyenv install 3.7.5
Installing Python-3.7.5...
WARNING: The Python bz2 extension was not compiled. Missing the bzip2 lib?
WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?
WARNING: The Python sqlite3 extension was not compiled. Missing the SQLite3 lib?
Installed Python-3.7.5 to /root/.pyenv/versions/3.7.5
有三个warning提示，系统环境缺少 bzip2、readline、SQLite3。
下载pyenv
wget git clone https://github.com/pyenv/pyenv.git ~/.pyenv
将PYENV_ROOT和pyenv init加入bash的~/.bashrc（或zsh的~/.zshrc）
echo 'export PATH=~/.pyenv/bin:$PATH' >> ~/.bashrc
echo 'export PYENV_ROOT=~/.pyenv' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
激活pyenv（zsh为~/.zshrc）
source ~/.bashrc
指定python版本在线安装
[root@localhost bin]# pyenv install 3.7.5
常用命令
pyenv install --list # 列出可安装版本
pyenv install <version> # 安装对应版本
pyenv uninstall <version> # 卸载对应版本的python
pyenv uninstall <venv name> # 删除指定虚拟环境
pyenv install -v <version> # 安装对应版本，若发生错误，可以显示详细的错误信息
pyenv versions # 显示当前使用的python版本
pyenv which python # 显示当前python安装路径
pyenv global <version> # 设置默认Python版本
3.3pyenv离线安装python各版本
pyenv自动去官网拉取python安装包，如果要为离线服务器安装，则只需在.pyenv创建cache目录，将指定版本的python安装包放在该目录。
python安装包下载地址：https://www.python.org/ftp/python/
只需下载Python-***.tar.xz 即可
[root@localhost cache]# pwd
/root/.pyenv/cache
[root@localhost cache]# ls
Python-3.7.5.tar.xz
[root@localhost .pyenv]# pyenv install 3.7.5
Installing Python-3.7.5...
Installed Python-3.7.5 to /root/.pyenv/versions/3.7.5
3.4 使用多个python版本
pyenv设为系统原有python版本：
[root@localhost opt]# pyenv global system
[root@localhost opt]# python -V
Python 2.7.5
pyenv更换系统python3.7.5版本后：
[root@localhost opt]# pyenv global 3.7.5
[root@localhost opt]# python -V
Python 3.7.5
[root@localhost opt]# pyenv versions
system
* 3.7.5 (set by /root/.pyenv/version)
# python3.7.5所在目录，所有的安装python都会集中放置在.pyenv/versions目录下
[root@localhost bin]# pwd
/root/.pyenv/versions/3.7.5/bin
[root@localhost bin]# ls
2to3 idle pip3 pydoc3.7 python3.7-config python3-config
2to3-3.7 idle3 pip3.7 python python3.7-gdb.py python-config
easy_install idle3.7 pydoc python3 python3.7m pyvenv
easy_install-3.7 pip pydoc3 python3.7 python3.7m-config pyvenv-3.7
pyenv在python版本方面得心应手。
3.5 pyenv结合/pyenv-virtualenv实现灵活的虚拟环境管理
在第3.2章节介绍了virtualenv用于管理pip包的虚拟环境，virtualenv有个不足地方是：系统需已安装多个python版本，一般会通过手工安装，也即编译时指定不同路径，避免冲突。pyenv作者同时也开发pyenv-virtualenv的工具，跟virtualenv功能一致，也是用于管理pip包以及虚拟环境，结合pyenv，可以实现任意python版本以及pip包环境的切换以及使用，高效提高个人开发效率。
pyenv-virtualenv放在.pyenv/plugins 这个插件目录下
[root@localhost plugins]# pwd
/root/.pyenv/plugins
[root@localhost plugins]# git clone https://github.com/yyuu/pyenv-virtualenv.git
[root@localhost plugins]# ls
pyenv-virtualenv python-build
# 更新系统环境变量
[root@localhost plugins]# exec "$SHELL"
创建python3.7.5版本、虚拟环境名为tf375
[root@localhost opt]# pyenv virtualenv 3.7.5 tf375
# 所有使用python3.7.5版本创建的虚拟环境都在此目录：/root/.pyenv/versions/3.7.5/envs
[root@localhost envs]# ls
pyspark375 tf375
# tf375虚拟环境的目录在这里：
[root@localhost opt]# ls ~/.pyenv/versions/3.7.5/envs/tf375/
bin/ include/ lib/ lib64/ pyvenv.cfg
#pyenv uninstall tf375 # 删除虚拟环境,同时也会删除其目录
激活tf375环境，pyenv支持对环境名的自动补全，非常方便，pip包默认不继承系统包。
[root@localhost opt]# pyenv activate tf375
(tf375) [root@localhost envs]# pip list
Package Version
---------- -------
pip 19.2.3
setuptools 41.2.0
创建python3.6.5版本、虚拟环境名为spk的pyspark开发环境
[root@localhost opt]# pyenv virtualenv 3.6.5 pyspark_proj
[root@localhost opt]# pyenv activate pyspark_proj
(pyspark_proj) [root@localhost opt]# pip list
pip (9.0.3)
setuptools (39.0.1)
