爬虫-09-scrapy-redis分布式爬虫

正文 回到顶部 9-1 分布式爬虫要点 1.分布式的优点 充分利用多机器的宽带加速爬取 充分利用多机的IP加速爬取速度 问：为什么scrapy不支持分布式？ 答：在scrapy中scheduler是运行在队列的，而队列是在单机内存中的，服务器上爬虫是无法利用内存的队列做任何处理，所以scrapy不支持分布式。 2.分布式需要解决的问题 requests队列集中管理 去重集中管理 所以要用redis

>>阅读原文<<