scrapy-redis详解

scrapy是一个工业化的爬虫框架，应用广泛，功能强大，scrapy-redis作为scrapy功能的增加，主要多的功能是让scrapy支持了分布式，增加了持续去重，增加了断点续爬，增量爬取等功能。最近学习了scrapy-redis的去重方式的源码，这里做一个简单的总结。 这个图片是scrapy-redis的源码的文件结构。从名字中就可以看出大概的作用。connection,从名字中就可以看出来这

>>阅读原文<<