Scrapy框架的安装(windows)

用anaconda安装

这种方法是最快的。前提是安装了anaconda。
方法:命令行执行 conda install scrapy
在这里插入图片描述
询问是否安装新的包 ,输入y回车即可。
整个过程非常省心。

———————————————————————————————————————————
不使用anaconda的话,可以看下面的方法:

常规安装

首先在命令行测试一下:
在这里插入图片描述
这说明scrapy框架还没有安装。
由于主要使用pip安装,所以我们先检查一下:
在这里插入图片描述

第一步:安装wheel

pip install wheel

第二步:安装 lxml

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
在这里插入图片描述
下载好以后,把路径复制一下:
在这里插入图片描述
然后使用pip install + 路径 进行安装
在这里插入图片描述

第三步:安装pyOpenSSL

从官方网站 https://pypi.python.org/pypi/pyOpenSSL#downloads 找到对应版本的whl文件。
在这里插入图片描述
下载之后同样把路径和名称复制一下,然后用pip install +路径来安装:
在这里插入图片描述

第四步:安装 Twisted

这是一个异步框架,是scrapy的核心。
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到对应版本的whl文件下载:
在这里插入图片描述
按照上面的方法,同样用pip安装就可以了。

第五步:安装pywin32

官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/ 从222版本开始后,只在github上发布了,所以我们找到github上的地址:
https://github.com/mhammond/pywin32/releases
注意:选择最接近本机环境版本的安装包来进行安装,不然可能会失败。
在这里插入图片描述
下载后直接运行安装,然后狂点下一步即可,路径会默认安装在python的目录下。

第六步:安装Scrapy

pip install scrapy
在这里插入图片描述
在这里插入图片描述
大功告成!

试一下:
在这里插入图片描述
这代表以及安装成功。

测试

创建第一个爬虫:

扫描二维码关注公众号,回复: 4073680 查看本文章
scrapy startproject papapa  #创建一个爬虫项目
cd papapa  #进入到爬虫项目目录
scrapy genspider baidu www.baidu.com#创建一个具体的爬虫
scrapy crawl baidu #运行爬虫

在这里插入图片描述
在这里插入图片描述

最后运行:
scrapy genspider baidu www.baidu.com
在这里插入图片描述
很悲剧,报错了。发生了“ImportError:DLL load failed:操作系统无法运行%1 ”的错误。
查了一下,解决办法如下:把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可(但是可能会对其他依赖这两个DLL的软件有影响)。
我这儿没有ssleay32.dll,只删除了一个。
再来试试:
在这里插入图片描述
这回可以了。
运行爬虫:

scrapy crawl baidu

在这里插入图片描述
稳哪。

猜你喜欢

转载自blog.csdn.net/z714405489/article/details/83998921