Python下scrapy框架的安装

我们会在爬虫的过程中运用到scrapy,今天就分享一下自己下载和运用scrapy的一些经验和心得

在刚开始接触scrapy时候,在网上查询了许多关于scrapy 的下载和安装的方法,受到了许多的启发,同时也帮助了自己解决了问题,总结了一些关于scrapy的下载和安装的经验

最简单的安装方法是在中断输入pip install scrapy


 这种方式不能成功的话,就换下面这一种方式

1、直接使用pip install scrapy安装不成功可以安装whl格式的包  首先下载scrapy的whl包

下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

打开以后,在网页中以ctrl + f 的方式查找scrapy,并找到

Scrapy‑1.3.3‑py2.py3‑none‑any.whl

并且下载

2.安装whl格式包需要安装wheel库,可以直接使用pip install wheel安装wheel

3.在同样的网址

下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

中通过相同的方式搜索找到twisted找到

Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl

并下载

4.下载完成后使用cmd打开windows的命令行窗口,进入whl包所在的文件夹执行如下命令

pip install [whl]

Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装,只是应该等到其所有依赖的包安装完成后才能进行安装,现在还不能安装

scrapy依赖lxml包,需要先安装lxml包

所有准备工作做完,安装scrapy包了,进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录

5.验证,在中端输入scrapy得到如下内容证明安装成功

猜你喜欢

转载自blog.csdn.net/weixin_42539547/article/details/81346709