分布式爬虫

什么是分布式爬虫？ 1.默认状况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，由于爬虫调度器当中的队列queue去重和set集合都是本机上建立的 其余的电脑没法访问另一台电脑上的内存的内容。python 2.分布式爬虫用一个共同的爬虫程序，同时部署到多台电脑上运行，这样能够 提升爬虫速度，实现分布式爬虫。git 分布式爬虫的前提 1.要保证每一台计算机都可以正常的执行scrapy命令，可以

>>阅读原文<<