scrapy框架---安装

今天给大家介绍一个python爬虫中非常重要，方便且实用的工具，即为scrapy。但是scrapy在使用之前，要先学会怎么安装，只有安装成功之后，才可以更方便的学习爬取数据。

1.打开终端，输入pip install scrapy ，如果显示安装成功，那么证明以前就安装过，可以直接拿过来用。但是这种情况应该是很极少的一部分，大部分人应该在安装时都会出现这种错误：

 

错误：Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools，

出现这种错误意思是说它需安装Twisted

就要进入下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

2.在网页中搜索scrapy找到  Scrapy‑1.3.3‑py2.py3‑none‑any.whl

3.将文件下载到桌面，然后打开终端，利用pip安装回车

4.如果出现错误，说明你的pip版本过低，执行它提示的命令升级pip

5.安装Twisted-17.9.0-cp36-cp36m-win32成功后，最后输入scrapy，出现以下界面证明安装成功。

6.在终端输入pip，将创建好的scrapy文件拖入到终端中，创建Scrapy项目工程，在命令行，切换到自己的项目代码的工作空间下，生成如下新文件。

spiders：所有创建的爬虫文件会放在此文件夹下

__init__.py : 初始化文件

Items.py :存放数据模型

middlewares.py: 中间件，负责对内容进行处理

pipelines.py:通常用来控制执行的顺序

setttings.py:设置项目的配置信息

7.按照终端指示，依次输入指定的命令

A：cd baidu   B ： scrapy genspider baiduSpider baidu.com

注意：爬虫文件名字不能和工程名字一致

8.命令执行完以后，会在项目中生成以下文件

9.运行爬虫程序输入：scrapy  crawl  +爬虫名

10.如果电脑上安装有Anaconda，那么可直接在终端输入命令conda install scrapy，

没有其他操作，是不是非常方便呢，但是只能在安装有Anaconda的前提下使用此方法。