scrapy 分布式原理

Scrapy单机架构 在本机维护一个爬取队列，Scheduler进行调度。 多台主机协作的关键是什么？共享爬取队列。 分布式爬虫架构 队列用什么维护？ Redis，非关系型数据库，Key-Value形式存储，结构灵活。 是内存中的数据结构存储系统，处理速度快，性能好。 提供队列、集合等多种存储结构，方便队列维护。 怎样来去重？ Redis 提供集合数据结构，在 Redis 集合中存储每个 Requ

>>阅读原文<<