-
1.在windows下安装好分布式爬虫的相关模块,并且成功运行。
-
2.在Ubuntu上安装scrapy之前,需要先安装以下依赖:
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
- 3.在window中打开命令窗口,进入到项目路径(或项目的环境),输入下面的命令,生成一个包含当前项目所有虚拟环境包的文件requirements.txt
pip freeze > requirements.txt
- 4.在linux中安装rz
sudo apt-get install lrzsz
- 5.安装virtualenv和virtualenvwrapper,执行下面命令
sudo pip install virtualenv
sudo pip install virtualenvwrapper
sudo pip3 install virtualenv
sudo pip3 install virtualenvwrapper
sudo apt-get install python-virtualenv
sudo easy_install virtualenvwrapper
- 6.配置虚拟环境
1.创建目录用来存放虚拟环境
mkdir $HOME/.virtualenvs
2.在~/.bashrc中添加行:
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/bin/virtualenvwrapper.sh
3.运行:
source ~/.bashrc
【扩展】
使用 virtualenvwrapper
虚拟环境相关操作:
lsvirtualenv: 列出虚拟环境列表(个人喜欢用第二个)
workon+Enter: 列出虚拟环境列表
mkvirtualenv [虚拟环境名称]: 新建虚拟环境
workon [虚拟环境名称]: 切换虚拟环境
rmvirtualenv [虚拟环境名称]: 删除虚拟环境
deactivate: 离开虚拟环境
- 7.创建虚拟环境
mkvirtualenv -p /user/bin/python3 crawler-env(环境名)
- 8.安装requirements.txt
pip3 install -r requirements.txt
linux中不需要pywin32,删除后在执行此命令