Python——分布式爬虫和redis

1、分布式爬虫git    1.分布式爬虫：（1）默认状况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行；爬虫调度器中的队列去重、set集合都是                                           在本机上建立，其余的电脑没法访问另一台电脑上的内存内容。github                              （2）分布式爬虫用一个共同的爬虫程序

>>阅读原文<<