scrapy-redis 采集失败如何将url移出DupeFilter

问题:采集页面时因为网络缘由可能返回为空内容,但这条采集记录被记录在redis的DupeFilter中,致使不能二次采集。 请问:在spider 的编写过程当中如何将采集失败的url手动移出redis的xx:DupeFilter。python 引入web from scrapy.utils.request import request_fingerprint 在spiders中,手工判断respo
相关文章
相关标签/搜索