Scrapy中出现重定向301错误

Scrapy中出现重定向301错误

1.问题描述

 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301)

2.问题原因

301 Moved Permanently（永久重定向） 被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个URI之一。如果可能，拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。

3.解决方法

• 使用浏览器正常登陆要爬取的网站，获取最新网址，并对爬虫中的url地址进行相应更改

• 在settings.py文件中添加

  • HTTPERROR_ALLOWED_CODES = [301]