版权声明：版权声明 https://blog.csdn.net/sunzhihao_future/article/details/88594715
Python爬虫-Scrapy框架（一）- Scrapy环境安装
写在前面
像预想的那样，虽然有着众多参考资料，但是由于Python中繁杂的兼容问题以及依赖问题，安装Scrapy环境包括安装后的调试遇到了各种各样的问题，耗费了数个小时的时间。现在来整理一下安装的步骤以及一些安装过程中遇到的问题。
Scrapy环境安装步骤
Anaconda安装
Anaconda是一个开源的Python发行版本，用通俗点的话来说就是一个包括Conda，Python以及很多安装好的工具包的包（环境）管理器，解决了很多依赖问题，对于初学者来说会省去不少的麻烦。
由于Anaconda的服务器在国外，如果下载不方便可以使用清华大学开源软件镜像站来获取安装包。
在列表中选择下载适用于特定系统的安装包，在这里选择了Anaconda3-4.4.0-Windows-x86_64.exe。
下载完成后安装即可，需要注意的是，在Advanced Options中，勾选Add Anaconda to my PATH environment variable来配置环境变量。
安装完成后，打开命令行程序，输入 conda ，若出现下述提示，说明Anaconda环境变量配置没有问题。
Scrapy安装
打开命令行程序，输入 conda install scrapy=1.4 ，即可安装1.4版本的Scrapy，在这里需要等待的时间较长，会主动处理其中的很多依赖问题。处理结束后，会显示解决方案，回复 y 即可执行解决方案。
安装成功后，在命令行程序中输入 scrapy ，显示下述提示信息，则说明Scrapy环境安装成功。
问题与解决
- 直接在Window环境下安装Scrapy（命令行程序输入 pip install scrapy==1.4），在安装过程中不会出现报错，但是在后续测试过程中，使用shell命令时，会在过程中出现错误提示，这是由于Scrapy与用到的其他包版本不兼容的问题，虽然也可以重新安装报错的包，但是由于依赖很复杂，解决起来会很麻烦，因此还是推荐向我一样的初学者使用Anaconda，会方便很多。
- 在Ananconda安装完成后，命令行程序中输入 conda 后得到的应答可能出现 ‘conda’ 不是内部或外部命令，也不是可运行的程序
或批处理文件 的错误提示，这很可能是由于在安装过程中未勾选Add Anaconda to my PATH environment variable，导致环境变量没有配置成功，可以选择重新安装，但是切记在安装之前卸载掉已经安装好的版本。
今天几经波折，最终还算顺利的安装好了Scrapy环境，并且做了一些初步调试，从明天开始正式学习Scrapy框架的知识，交互式命令模式以及爬虫数据入库。