Scrapy-redis之终结篇

scrapy-redis 为何要用scrapy-redis？ Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体如今：reqeust去重，爬虫持久化，和轻松实现分布式,实现一个任务多台服务器执行，大大的提升了效率python 安装 pip3 install scrapy-redis scrapy-redis 执行流程 源码 scrapy-redis .connrctio

>>阅读原文<<