分析scrapy爬虫请求过快导致网站429的解决办法

在HTTP协议中，响应状态码 429 Too Many Requests 表示在一定的时间内用户发送了太多的请求，即超出了“频次限制”。

在响应中，可以提供一个 Retry-After 首部来提示用户需要等待多长时间之后再发送新的请求。

HTTP/1.1 429 Too Many Requests
Content-Type: text/html
Retry-After: 3600

<html>
  <head>
    <title>Too Many Requests</title>
  </head>
  <body>
    <h1>Too Many Requests</h1>
    <p>I only allow 50 requests per hour to this Web site per
    logged in user. Try again soon.</p>
  </body>
</html>

服务器不主动拒绝请求，不封ip，但是会限制请求频率，所有我们要尊重服务器的设置，适当降低请求频率，不要试图解决它。

但是，有些人就是不信邪（比如我），所以在请求大量数据的时候，还是可以做一些措施，在边缘疯狂试探。

我们可以修改scrapy的中间件，以便收到错误时暂停。等待一会儿后再继续执行爬虫。

from scrapy.downloadermiddlewares.retry import RetryMiddleware
from scrapy.utils.response import response_status_message

import time

class TooManyRequestsRetryMiddleware(RetryMiddleware):

    def __init__(self, crawler):
        super(TooManyRequestsRetryMiddleware, self).__init__(crawler.settings)
        self.crawler = crawler

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_response(self, request, response, spider):
        if request.meta.get('dont_retry', False):
            return response
        elif response.status == 429:
            self.crawler.engine.pause()
            time.sleep(60) # If the rate limit is renewed in a minute, put 60 seconds, and so on.
            self.crawler.engine.unpause()
            reason = response_status_message(response.status)
            return self._retry(request, reason, spider) or response
        elif response.status in self.retry_http_codes:
            reason = response_status_message(response.status)
            return self._retry(request, reason, spider) or response
        return response

在请求出现429的时候，我们的程序将会停止运行，根据设置的等待时间开始等待，我这里设置的时60s，当然你也可以设置得更久。

在这里插入图片描述

添加429以重试代码 settings.py
RETRY_HTTP_CODES = [429]

然后激活它settings.py。

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'flat.middlewares.TooManyRequestsRetryMiddleware': 543,
}

既然有限制，那我们就降低一点速度，给人家一点面子。
在这里插入图片描述

以上，加油吧

爬不下来就自闭

发布了65 篇原创文章 · 获赞 41 · 访问量 4万+

私信关注

分析scrapy爬虫请求过快导致网站429的解决办法

猜你喜欢