Scrapy 框架
- Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
- 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
- Scrapy 使用了 Twisted['twɪstɪd] 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
框架流程中的各个部分：
- Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
- Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
- Downloader（下载器）： 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
- Spider（爬虫）： 它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
- **Item Pipeline(管道)：**它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
- Downloader Middlewares（下载中间件）： 可以自定义扩展下载功能的组件（代理、cokies等）。
- Spider Middlewares（Spider中间件）： 可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
Scrapy的安装
Scrapy框架官方网址：http://doc.scrapy.org/en/latest
Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
Windows 安装方式: pip3 install Scrapy
Ubuntu 安装方式: sudo pip3 install scrapy
- 注意：如果Windows安装,不上因为你的电脑上没有安装 Microsoft Visual C++ 14.0，造成编译安装失败，解决方法:
- 根据这个网站找到对应的win版本下载即可： https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 然后安装 在命令窗口输入命令即可 : Twisted-18.7.0-cp36-cp36m-win_amd64.whl
安装非Python的依赖
sudo apt-get install python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
创建项目
- 创建爬虫项目：scrapy startproject 爬虫项目名称
- 新建爬虫文件：scrapy genspider 爬虫文件名称 要爬的地址：如.csdn.net、.baidu.com等
文件作用：
- scrapy.cfg ：它是Scrapy 项目的配置文件，其内定义了项目的配置文件路径、部署相关信息等内容。
- items.py ：它定义Item 数据结构，所有的Item 的定义都可以放这里。
- pipelines.py ：它定义Item Pipeline的实现，所有的Item Pipeline的实现都可以放这里。
- settings.py ：它定义项目的全局配置。
- middlewares.py ：它定义Spider Middlewares 和Downloader Middlewares 的实现。
- spiders：其内包含一个个Spider 的实现，每个Spider 都有一个文件。
根据目标网站分析需要提取的数据，在item.py文件中添加字段
- 打开jobboleproject文件下的item.py文件
- item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
- 可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。
* name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
* allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
* start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
* parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
* 负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
* 生成需要下一页的URL请求。
将start_urls(设置起始url)的值修改为需要爬取的第一个url
yeild函数介绍：
简单地讲，yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，带有yeild的函数遇到yeild的时候就返回一个迭代值，下次迭代时，
代码从 yield 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，
直到再次遇到 yield。
通俗的讲就是：在一个函数中，程序执行到yield语句的时候，程序暂停，返回yield后面表达式的值，在下一次调用的时候，从yield语句暂停的地方继续执行，如此循环，直到函数执行完。
数据持久化
方式一：数据存入mongodb数据库
settings.py文件:设置文件，在这里设置User-Agent,激活管道文件等．．．
'douban.pipelines.DoubanPipeline': 300,
}
MONGODB_HOST = '127.0.0.1' #MONGODB 主机名
MONGODB_PORT= 27017 #MONGODB 端口号
MONGODB_DBNAME = "Douban" #数据库名称
MONGODB_SHEETNAME= "doubanmovies" #存储数据的表名称
pipelines.py管道：这里进行数据的清洗和持久化
