Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的 Python 应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
Scrapy 模块安装依赖于 twisted 模块
科普: 在命令提示符窗口键入以下命令, 可查看已安装模块和版本信息:
pip3 list
接下来我们看看这些工具如何安装 ? 已经安装成功的模块可以跳过
Twisted 模块的安装:
- Twisted 是用 Python 实现的基于事件驱动的网络引擎框架
- Twisted 模块的安装依赖与 PyOpenSSL、Zope.Interface、PyWin32，这三个模块，使用 pip 命令安装即可
pyOpenSSL 模块的安装:
- pyOpenSSL 模块是 python 的密码库（OpenSSL 是一个安全套接字层密码库）
- 在CMD命令提示符窗口下, 输入以下命令进行安装
pip3 install pyOpenSSL
- 如图, 安装成功后, 在最下面一行会提示: Successfully installed 字样
Zope.Interface 模块的安装:
- 在CMD命令提示符窗口下, 输入以下命令进行安装
pip3 install zope.interface
- 如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样
PyWin32 模块的安装:
- 在CMD命令提示符窗口下, 输入以下命令进行安装
pip3 install pywin32
Twisted 模块的安装
- 以上三个模块成功安装后, 下面我们在来安装 Twisted 模块
- 在CMD命令提示符窗口下, 输入以下命令进行安装
pip3 install twisted
- 如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样 , 如果安装失败...我们接着往下看
pip install twisted 安装失败 error: Microsoft Visual C++ 14.0 is required....... 解决方法如下:
Twisted 模块出现安装错误 如下：
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
解决方法：
1、查找安装过程中Twisted的版本，在命令窗上找到 Collecting Twisted>=13.1.0 (from scrapy)..Downloading..这两行，如下：
Collecting Twisted>=13.1.0 (from scrapy)
Downloading https://files.pythonhosted.org/packages/12/2a/e9e4fb2e6b2f7a75577e0614926819a472934b0b85f205ba5d5d2add54d0/Twisted-19.2.0.tar.bz2 (3.0MB)
!!! 记住 Twisted 的版本号，我的是19.2.0
2、进入https://www.lfd.uci.edu/~gohlke/pythonlibs/，下载对应版本的whl文件。如下图，cp后面是python版本，amd64代表64位，划红线的是我的系统对应的版本，点击文件即可下载
3、使用 pip install 下载文件的完整路径名，进行安装 whl 文件
pip install C:\Users\Nick\Desktop\Twisted-19.2.0-cp37-cp37m-win_amd64.whl
4、再使用 pip3 install twisted 来安装 twisted 模块
Scrapy 模块的安装:
- scrapy 所依赖的环境在上面几个步骤中已经安装完成，下面使用pip命令安装scrapy即可
- 在CMD命令提示符窗口下, 输入以下命令进行安装
pip3 install scrapy
- 如图, 安装成功后, 在最下面一行也会提示: Successfully installed 字样
到此，scrapy 开发环境搭建完成