Scrapy分布式原理及Scrapy-Redis源码解析(待完善)

1 Scrapy分布式原理 2 队列用什么维护 首先想到的多是一些特定数据结构, 数据库, 文件等等.python 这里推荐使用Redis队列.git 3 怎样来去重 保证Request队列每一个request都是惟一的.github 集合中每一个元素是不重复的web 4 怎样防止中断 5 怎样实现该架构 Scrapy-Redis库已经完整实现了该架构.redis 源代码地址: Scrapy-Re

>>阅读原文<<