scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/a870542373/article/details/80558797

一、遇到的问题:

DEBUG: Filtered offsite request to 'www.99yiyuan.com': <GET http://www.99yiy。。。

二、解决方法：
设置setting.py文件

SPIDER_MIDDLEWARES = {
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}如果您想要禁用构建中间件(在SPIDER_MIDDLEWARES_BASE中定义的，并且默认启用的)，您必须在项目spider_middleware设置中定义它，并将其指定为其值。这是文档的地址：https://doc.scrapy.org/en/latest/topics/spider-middleware.html