Python——分布式爬虫和redis

一、分布式爬虫    1.分布式爬虫：（1）默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行；爬虫调度器中的队列去重、set集合都是                                           在本机上创建，其他的电脑无法访问另外一台电脑上的内存内容。                              （2）分布式爬虫用一个共同的爬虫程序，同时部署到多台

>>阅读原文<<