Python爬虫理论 | (9) Scrapy分布式爬虫

目录git   1. 分布式爬虫原理github 2. Scrapy-redisredis 3. 分布式环境搭建mongodb 4. 实战数据库 1. 分布式爬虫原理 分布式爬虫是将多台主机组合起来，共同完成一个爬取任务。bash Scrapy单机爬虫中有一个本地爬取队列Queue。若是新的Request生成就会放到Queue里面，随后Request被Scheduler调度。以后，Request交

>>阅读原文<<