Python分布式爬虫1

一、开发环境的搭建

1.安装mysql

2.安装navicat for mysql

二、虚拟环境的搭建

1.创建cmd.bat
1)在桌面新建cmd.bat,里面输入cmd,保存

2.安装驱动

1)pip install virtualenvwrapper-win
pip install virtualenv
pip install virtualenvwrapper

2)mkvirtualenv -p C:\anaconda3\python.exe article_spider
即先选中要作为虚拟环境的python,再构建名为article_spider的文件夹
cd到文件目录内,然后输入activate即可激活虚拟环境
图中红框内即为虚拟环境文件夹的位置
图中红框内即为虚拟环境文件夹的位置

3.安装lxml,twisted,pywin32

网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/
cmd中先进入到下载路径,然后
pip install -i https://pypi.douban.com/simple “下载下来的文件名”

4.安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
即为使用豆瓣镜像源进行安装

5.创建project
进入到虚拟环境,然后输入scrapy startproject ArticleSpider即可创建

6.配置pycharm解释器
file-settings-搜索interpreter-add-existing environment-找到虚拟环境下的python.exe

猜你喜欢

转载自blog.csdn.net/m0_46162954/article/details/104640144
今日推荐