scrapy-redis分布式爬虫

依赖环境： Scrapy >= 1.1 Redis >= 2.8 分布式爬虫：将一个项目拷贝到多台电脑上，同时爬取数据。 1. 必须保证所有电脑上的代码是相同的配置。 2. 在其中一台电脑上启动redis和mysql的数据库服务。 3. 同时将所有的爬虫项目运行起来。 4. 在启动redis和mysql数据库的电脑上，向redis中添加起始的url。 q = queue() url = q.get

>>阅读原文<<