关于python爬虫资料，网上一搜一大摞，本文也基本上参考网上查到的资料，记录自己过的踩坑，可以偶偶翻翻，避免再范。
推荐一个Scrapy教程：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#intro-tutorial
博主python环境
系统：windows7
python版本：python 3.6
IDE：Pycharm
Scrapy 安装
主要参考 作者：Jack-Cui 文章：Python3安装Scrapy (http://blog.csdn.net/c406495762/article/details/60156205）
使用pip安装问题很多：
- Failed building wheel for lxml
- Microsoft Visual C++ 10.0 is required
- Failed building twisted
- Unable to find vcvarsall.bat
文中所列基本上都遇到了
解决方案：上文中的方案实测有效
在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库，可以在该网站下载Lxml、Twisted、Scrapy对应版本
怎么找对应版本，举个例子：lxml-4.2.1-cp36-cp36-win_amd64.whl 表示 lxml版本为4.2.1，适用于python3.6-64bit 版本
进入文件所在文件夹下，打开cmd，使用命令 依次安装：pip3 install wheel，pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl，pip3 install Twisted-18.4.0-cp36-cp36m-win_amd64.whl，pip3 install Scrapy-1.5.0-py2.py3-none-any.whl(注意顺序)
博主使用的是PyCharm Terminal c窗口运行的命令，直接使用cmd运行安装成功后依旧报错，目前原因未知
安装pywin32
到网址：https://sourceforge.net/projects/pywin32/files/pywin32/ 下载对应版本步骤安装即可。
到此就可以正常使用Scrapy了