scrapy和scrapy-redis有什么区别？为何选择redis数据库？

1) scrapy是一个Python爬虫框架，爬取效率极高，具备高度定制性，可是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，能够让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。redis 2) 为何选择redis数据库，由于redis支持主从同步，并且数据都是缓存在内存中

>>阅读原文<<