Scrapy请求丢失

请求丢失场景：
在项目运行的过程中，Ctrl+C 主动终止进程，或爬虫代码异常等程序非正常结束的情况下，获取数据的过程没有完成，但某个request对象已经从队列中取出。此时fp指纹集合中已经存在了该指纹，再次启动该项目时，因为设置了请求去重，无法再发出该请求。

解决方案：

1.添加一个请求备份容器。

2.给request对象设置一个重试次数的属性。