分布式爬虫配置（伯乐在线为例）

依赖环境： redis >=2.8 scrapy >=1.1html 分布式爬虫：将一个项目拷贝到多台电脑上，同时爬取数据。 1.必须保证全部电脑上的代码是相同的配置。 2.在其中一台电脑上启动redis和MySQL的数据库服务。 3.同时将全部的爬虫项目运行起来。 4.在启动redis和MySQL的电脑上， 向redis中添加起始的url。python q = queue() url = q.g

>>阅读原文<<