Scrapy 运行＞＞异常：Ignoring response ＜403 https://movie.douban.com/top250＞: HTTP status code is not hand

一、 运行异常:

二、 原因：

     由于服务器自带伪装防爬虫；查看settings.py文件如下

这个不是标准的USER_AGENT，把里面内容删除,进行修改；还有robots协议需要修改成False。

三、解决：

修改settings.py文件如下：

扫描二维码关注公众号，回复： 17000046 查看本文章