分布式爬虫的原理

标题分布式爬虫的原理 一开始学习分布式爬虫真的是一脸的懵逼，完全不理解到底是怎么通过Redis实现调度器分发任务 后来我逐渐理解了 在单机scrapy框架中的原理是这样的 scrapy单机爬虫中有一个request队列由调度器来分发任务去请求，每次请求完成之后就会从队列中删除，而新的request请求也会加入到队列。但是调度器的能力是有限的。 这样就可以通过Redis来实现调度器分发任务，为什么要

>>阅读原文<<