scrapy_redis 解决空跑问题,自动关闭爬虫

使用过scrapy_redis框架的人一定知道，scrapy redis 在没有requests的时候，会阻塞等待接收start_url，程序无法自动结束。那如何自动停止程序，结束空跑呢？？？ 下面是通过设置超时时间来结束空跑，如果你启动爬虫后没有接受初始爬取页面，也会在超时后关闭爬虫。主要在项目的设置文件settings.py进行设置及同级目录再添加一个文件extensions.py来解决 sp

>>阅读原文<<