递归解析
糗事百科递归解析
在前面的例子里只是爬取了糗事百科热门的第一个页面，但是当我们需要爬取更多的页面时，需要对每个页面的url依次发起请求，然后通过解析的方法进行作者和标题的解析。
我们可以构建一个url列表，放进去所有页面的url，但是这样是不推荐的。
我们也可以通过requests的方法来手动解析，然后来使用递归的思想来编写程序。
比如：
糗事百科首页的页码
# -*- coding: utf-8 -*-
import scrapy
from happy.items import HappyItem
class QiushiSpider(scrapy.Spider):
name = 'qiushi'
allowed_domains = ['www.qiushibaike.com']
start_urls = ['http://www.qiushibaike.com/']
# 爬取多个页面
pageNum = 1
url = 'https://www.qiushibaike.com/8hr/page/%d/'
def parse(self, response):
# xpath为response中的方法
odiv = response.xpath('//div[@class="recommend-article"]//li')
for li in odiv:
# 连续的li里面混有广告，屏蔽掉广告
try:
title = li.xpath('.//div[@class="recmd-right"]/a/text()')[0].extract()
author = li.xpath('.//span[@class="recmd-name"]/text()')[0].extract()
except:
continue
# 提供item到管道文件
item = HappyItem()
item['title'] = title
item['author'] = author
yield item
# 爬取所有页码数据
if self.pageNum <= 13:
self.pageNum += 1
url = self.url%(self.pageNum)
# 递归爬取数据 发起URL请后，将得到的数据进行使用parse解析，所以要使用回调函数callback
yield scrapy.Request(url=url, callback=self.parse)
得到结果：
post请求发送
Scrapy不用手动对起始列表中的url发送请求，是因为爬虫文件中爬虫类继承了Spider父类中start_requests(self)方法，该方法就可以对初始列表中的url发起请求。
def start_requests(self):
for u in self.start_urls:
yield scrapy.Request(url=u,callback=self.parse)
但是该方法默认实现的是get请求，如果需要发起post请求，则需要子类重写该方法
def start_requests(self):
#请求的url
post_url = 'http://fanyi.baidu.com/sug'
# post请求参数
formdata = {
'kw': 'wolf',
}
# 发送post请求
yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)
Scrapy的日志等级
在使用Scrapy crawl spidername 运行程序时，在终端里打印输出的就是Scrapy的日志。
一般的日志种类：
ERROR：错误
WARNING：警告
INFO：一般的信息
DEBUG：调试的信息
设置日志的指定输出：
在settings.py配置文件中加入:
LOG_LEVEL = 日志的指定种类
LOG_FILE = ‘log.txt’ 表示将日志写入指定文件
请求传参
有时候我们爬取的数据不在同一个页面，比如在这个页面的下级页面，这时候我们就需要用法请求传参。
例子：https://www.cnblogs.com/xiaozx/p/10744604.html 爬取网易新闻的国内版 srapy
提高scrapy爬取效率的技巧
1 增加并发:
默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
2 降低日志级别：
在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’.
3 禁止cookie
如果不是真的需要cookie，则在scrapy爬取数据时可以进制cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False.
4 禁止重试
对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False.
5 减少下载超时
如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s.
示例
爬取校花网校花图片 www.521609.com
# -*- coding: utf-8 -*-
import scrapy
from xiaohua.items import XiaohuaItem
class XiahuaSpider(scrapy.Spider):
name = 'xiaohua'
allowed_domains = ['www.521609.com']
start_urls = ['http://www.521609.com/daxuemeinv/']
pageNum = 1
url = 'http://www.521609.com/daxuemeinv/list8%d.html'
def parse(self, response):
li_list = response.xpath('//div[@class="index_img list_center"]/ul/li')
for li in li_list:
school = li.xpath('./a/img/@alt').extract_first()
img_url = li.xpath('./a/img/@src').extract_first()
item = XiaohuaItem()
item['school'] = school
item['img_url'] = 'http://www.521609.com' + img_url
yield item
if self.pageNum < 10:
self.pageNum += 1
url = format(self.url % self.pageNum)
#print(url)
yield scrapy.Request(url=url,callback=self.parse)
pipelines.py
import json
import os
import urllib.request
class XiaohuaPipeline(object):
def __init__(self):
self.fp = None
def open_spider(self,spider):
print('开始爬虫')
self.fp = open('./xiaohua.txt','w')
def download_img(self,item):
url = item['img_url']
fileName = item['school']+'.jpg'
if not os.path.exists('./xiaohualib'):
os.mkdir('./xiaohualib')
filepath = os.path.join('./xiaohualib',fileName)
urllib.request.urlretrieve(url,filepath)
print(fileName+"下载成功")
def process_item(self, item, spider):
obj = dict(item)
json_str = json.dumps(obj,ensure_ascii=False)
self.fp.write(json_str+'\n')
#下载图片
self.download_img(item)
return item
def close_spider(self,spider):
print('结束爬虫')
self.fp.close()
重点是settings.py 设置有利于爬虫下载的方式
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 100
COOKIES_ENABLED = False
LOG_LEVEL = 'ERROR'
RETRY_ENABLED = False
DOWNLOAD_TIMEOUT = 3
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16
DOWNLOAD_DELAY = 3
UA池和代理池
下载中间件
下载中间件，是位于引擎和下载器之间的一组层组件。
作用：
1 引擎将请求传递给下载器的过程中，下载中间件可以对请求进行一些列的处理，比如设置user-agent，设置代理等。
2 在下载器完成将response传递给引擎中，下载中间件可以对响应进行一些列处理，比如进行gzip解压等。
我们使用下载中间件，一般会对请求随机的设置user-agent，设置随机的代理，目的在于应对网站的反爬策略。
ua池
尽可能多将scrapy工程的请求伪装成不同类型的浏览器身份。
流程：
1 在下载中间件中拦截请求
2 将拦截到的请求信息中的UA进行篡改
3 在配置文件中开启下载中间件
import random
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
# 单独给ua池一个下载中间件的一个类
class RandomUserAgent(UserAgentMiddleware):
def process_request(self, request, spider):
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
"(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
# 随机挑选一个user-agent
ua = random.choice(user_agent_list)
# 将他写入到当前拦截到的request请求中
request.headers.setdefault('User-Agent', ua)
settings.py
DOWNLOADER_MIDDLEWARES = {
'happy2.middlewares.RandomUserAgentMiddleware': 400,
}
代理池
尽可能多将scrapy工程的请求设置成不同的ip访问。
流程:
1 在下载中间件中拦截请求
2 将拦截到的请求ip改成某一代理ip
3 在配置文件中开启下载中间件
# 还是单独写一个类
class ProxyMiddleware(object):
def process_request(self, request, spider):
# http型的可用ip
PROXY_http = [
'153.180.102.104:80',
'195.208.131.189:56055',
]
# 这是https请求类型的可用IP
PROXY_https = [
'120.83.49.90:9000',
'95.189.112.214:35508',
]
# 取出本次请求的路径
h = request.url.split(':')[0]
if h == 'http':
ip = random.choice(PROXY_http)
request.meta['proxy'] = 'http://' + ip
elif h == 'https':
ip = random.choice(PROXY_https)
request.meta['proxy'] = 'https://' + ip
settings.py
DOWNLOADER_MIDDLEWARES = {
'happy2.middlewares.ProxyMiddleware':400,
}