Scrapy是一个功能强大的网络爬虫框架
Scrapy的安装与测试
安装:pip install scrapy(cmd需要管理员运行，然后进入python环境（我安装的事python3.6）对应路径，然后输入该命令)
测试:scrapy -h
我在安装的时候遇到安装失败的问题，我想可能是我以前安装的模块中与该模块产生冲突，导致系统不知道如何选择，于是我使用以下命令：
pip install scrapy --ignore-intalled
可是装到百分之80那边又错误了提示一大堆错误，估计是版本错误。于是我又换了另一种方法。
一、首先我们按照wheel库，为后面安装Twisted库做准备。
在cmd窗口输入pip install wheel即可
之后的几个库需要手动安装
二、安装lxml，
进入官网：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 找到 lxml-3.7.3-cp36-cp36m win amd64.whl ,点击下载（这里36是对应的python3.6版本，amd64对应的是64位，因为我用的是python3.6版本所以下载该安装包，一定要找自己对应的版本，否则会出之前所说的版本错误。
下载完成后找到文件对应的路径（右击文件，点击属性，然后安全，复制文件位置）
在cmd中输入pip install 文件位置
三、安装pyOpenSSL
进入官网：https://pypi.org/project/pyOpenSSL/#files ,找到 pyOpenSSL-18.0.0-py2.py3-none-any.whl ，下载，然后按照步骤和上面所写的一样。
四、安装Twisted
进入官网：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，找到 twisted-17.1.0-cp36-cp36m win amd64.whl ，（这里同样找到对应自己的python版本下载）。
安装步骤与上面一样
五、安装pywin32
进如官网：https://sourceforge.net/projects/pywin32/files/pywin32/Build 221/ ，找到对应版本，下载，安装。安装默认安装直接下一步步就可以，如果安装失败，出现，无法进入对应的目录（python3.6安装的位置），不要慌，小意思，只是权限不够，右击管理员运行即可，然后按默认安装。
以上步骤都做完之后，就可以安装scrapy了
六、安装scrapy
只需要在cmd中输入 pip install scrapy。
nice成功了。
我参考了以下这篇文章，然后进行了一些补充与修改https://blog.csdn.net/wumxiaozhu/article/details/81255343