Scrapy-Redis源码解析及应用

文章目录 Scrapy-Redis的使用 安装 源码分析 picklecompat.py文件 queue.py文件 Base类 FifoQueue类 LifoQueue类 PriorityQueue类 dupefilter.py文件 scheduler.py文件 总结 Scrapy-Redis的配置 核心配置 Redis链接配置 第一种方式 第二种方式 调度队列 配置持久化 配置重爬 Piplin

>>阅读原文<<