scrapy自定义重试方法

Scrapy是自带有重试的，但一般是下载出错才会重试，当然你可以在Middleware处来完成你的逻辑。这篇文章主要介绍的是如何在spider里面完成重试。使用场景比如，我解析json出错了，html中不包含我想要的数据，我要重试这个请求（request）。 我们先看看官方是如何完成重试的 scrapy/downloadermiddlewares/retry.py   可以看到非常清晰，在meta

>>阅读原文<<