scrapy-redis全部request爬取完毕，如何解决爬虫空跑问题？

scrapy-redis全部request爬取完毕，如何解决爬虫空跑问题？ 1. 背景 根据scrapy-redis分布式爬虫的原理，多台爬虫主机共享一个爬取队列。当爬取队列中存在request时，爬虫就会取出request进行爬取，若是爬取队列中不存在request时，爬虫就会处于等待状态，行以下：html E:\Miniconda\python.exe E:/PyCharmCode/redis

>>阅读原文<<