Scrapy框架安装难点解决技巧

Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台下，它所依赖的库有所不同，所以在安装的时候，最好确保把一些基本库都安装好。

相关库的安装：

①安装pyOPenSSL（https://pypi.python.org/pypi/pyOpenSSL#downloads）

pip install pyOpenSSL-19.0.0-py2.py3-none-any.whl

②安装PyWin32

(https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/或者在百度搜索Home Browse Python for Windows Extensions Files，选择下载对应python版本，如pywin32-221.win-amd64-py3.7.exe下载安装即可)

（一）Scrapy推荐安装步骤(Windows)（出错概率小）

建议安装顺序：

1、开个VPN或者下载到本地安装方式（开vpn的方法在这就不过多赘述）；

2、首先，升级pip:python -m pip install --upgrade pip(建议网络安装)

在控制台cmd（快捷键win+R）下升级和安装；

3、安装wheel(网络安装)，pip install wheel（同样在控制台下安装）；

4、安装lxml ，(下载安装）https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

进入网址后Ctrl+F搜索lxml，如图会出现对应的lxml，我们下载和安装的python对应的版本，然后在控制台下安装pip install lxml-4.3.3-cp37-cp37m-win_amd64.whl(注意这儿一定要将完整的文件名，很多人在这儿出错)

（查看我们安装的python版本和多少位的，我这儿安装的是3.7，64bit的）

5、安装Twisted（下载安装，同lxml一样的在网站里，查找下载安装）；

6、pip install scrapy 或下载指定版本 pip install scrapy==版本号（如1.1.0rc3在控制台下网络安装），安装完成成功如下。

*****Bingo!*****

（三）python3.*安装Scrapy常见错误

1、

出现上面错升级pip就ok;

2、

Scrapy对Visual studio依赖，这时是缺少Microsoft.NET Framework,直接去搜索Microsoft.NET Framework下载安装就好

3、

出现这个问题就是lxml，直接依上下载lxml然后 pip安装就ok.

4、

同上

5、

出现这个问题，安装好Twisted和lxml就能解决。

6、ImportError:No module named ‘packaging’,这是缺少packaging包，利用pip安装即可：pip install packaging即可；

7、ImportError:No module named ‘_cffi_backend’,这是缺少cffi包，pip install cffi 即可；

8、ImportError:No module named ‘pyparsing’,这是缺少pyparsing包，同样pip install pyparsing appdirs。

Bingo成功了！！！！！！！！！！！

作者：谢志诚

时间：2019.5.6

Scrapy框架安装难点解决技巧

猜你喜欢