Scrapy请求丢失情况

请求丢失场景： 在项目运行的过程中，Ctrl+C 主动终止进程，或爬虫代码异常等程序非正常结束的情况下，获取数据的过程没有完成，但某个request对象已经从队列中取出。此时fp指纹集合中已经存在了该指纹，再次启动该项目时，因为设置了请求去重，无法再发出该请求。 解决方案： 1.添加一个请求备份容器。 2.给request对象设置一个重试次数的属性。

>>阅读原文<<