【爬虫】分布式爬虫

分布式爬虫 分布式的实现 实现流程 概念：需要搭建分布式机群，让其对一组资源进行分布联合爬取 分布式的实现 安装scrapy-redis组件 原生的scrapy是不可以实现分布式爬虫的，必须让scrapy结合scrapy-redis组件一起实现分布式爬虫 为什么原生的scrapy不能实现分布式？【调度器、管道不可以被分布式机群共享】 scrapy-redis作用：给scrapy框架提供可被共享的调

>>阅读原文<<