Python爬虫从入门到放弃（二十）之 Scrapy分布式原理

关于Scrapy工做流程回顾 Scrapy单机架构git 上图的架构其实就是一种单机架构，只在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数据关键就是共享爬取队列。github 分布式架构redis 我将上图进行再次更改mongodb 这里重要的就是个人队列经过什么维护？ 这里通常咱们经过Redis为维护，Redis，非关系型数据库，Key-Value形式存储，结构

>>阅读原文<<