Scrapy安装：（scrapy依赖包过多推荐使用下面的方法）
先安装Anaconda，然后 运行conda install Scrapy
创建scrapy项目:
1，scrapy startproject 项目名
2，cd到项目名下
3，scrapy genspider 爬虫名 www.baidu.com(网站网址)
4，在项目根目录下新建run.py
from scrapy.cmdline import execute
execute(['scrapy','crawl','quotes'])
这种方法直接运行该脚本即可，不需要每次输入命令！
scrapy选择器用法
response.css('.text::text').extract()
这里为提取所有带有class=’text’ 这个属性的元素里面的text返回的是一个列表
response.css('.text::text').extract_first()
这是取第一条，返回的是str
response.css("div span::attr(href)").extract()
这里取的是该属性值
同样可以用xpath选择器：
response.xpath("//a[@class='tag']/text()").extract())
scrapy保存文件的方法
scrapy crawl quotes -o quotes.json # 保存为json形式
scrapy crawl quotes -o quotes.jl #json lines存储
scrapy crawl quotes -o quotes.csv
scrapy crawl quotes -o quotes.xml
scrapy crawl quotes -o quotes.pickle #数据分析用
scrapy crawl quotes -o quotes.marshal #数据分析用
scrapy crawl quotes -o ftp://user:[email protected]/path/to/quotes.csv #远程保存
scrapy的spider的用法
spider是最简单的spider，每个其他的spider都必须继承该类，spider并没有提供什么特殊的功能，其仅仅请求给定的start_urls/start_requests,并根据返回的结果调用spider的parse方法
name,
定义spider的名字的字符串，必须是唯一的，name是spider的最重要的属性，而且是必须的
allowed_domains
可选，包含spider允许爬取的域名的列表，当offsiterMiddleware启用时，域名不在列表的url不会被跟进
start_urls
url列表，spider从该列表中开始进行爬取。
start_requests
该方必须返回一个可迭代的对象，对象中包含了spider用于爬取的第一个request.
def start_requests(self):
yield scrapy.Request(url=,self.menu,method='post')
scrapyde settings的用法
- DOWNLOAD_DELAY = 2-----------设置爬取间隔
- DEFAULT_REQUEST_HEADERS-----------设置头信息
- ROBOTSTXT_OBEY = True-----------如果启用,Scrapy将会采用 robots.txt策略
- AUTOTHROTTLE_START_DELAY = 5----------开始下载时限速并延迟时间
- AUTOTHROTTLE_MAX_DELAY = 60------------高并发请求时最大延迟时间
- CONCURRENT_REQUESTS = 16-----------开启线程数量，默认16
递归调用本函数爬取
next_page = response.css('.next::attr(href)').extract_first()
self.page += 1 (先设置类变量)
if self.page <= 3: #控制递归深度
yield scrapy.Request(url=next_page,callback=self.parse)
meta是一个字典，主要是用解析函数之间传递值
# 上一个函数 yield scrapy.Request(title_urls,self.get_pics,meta={'title_name':title_name})
# 下一个函数 s = response.meta['title_name']
爬虫的暂停与重启
scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径
如：scrapy crawl cnblogs -s JOBDIR=zant/001
执行命令会启动指定爬虫，并且记录状态到指定目录
爬虫已经启动，我们可以按键盘上的ctrl+c停止爬虫，停止后我们看一下记录文件夹，会多出3个文件，其中的requests.queue文件夹里的p0文件就是URL记录文件，这个文件存在就说明还有未完成的URL，当所有URL完成后会自动删除此文件
当我们重新执行命令：scrapy crawl cnblogs -s JOBDIR=zant/001 时爬虫会