Scrapy框架之分布式操做

1、分布式爬虫介绍 　　分布式爬虫概念：多台机器上执行同一个爬虫程序，实现网站数据的分布爬取。html 一、原生的Scrapy没法实现分布式爬虫的缘由？ 调度器没法在多台机器间共享：由于多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器没法分配start_urls列表中的url。 管道没法给多台机器共享：多台机器爬取到的数据没法经过同一个管道对数据进行统一的数据持久出存储。 二

>>阅读原文<<