scrapy_redis

scrapy_redis相关 Redis数据库 指纹集合 请求集合 数据 在终端执行 — slaver指令 ： scrapy runspider test.py 1） test.py是你的爬虫文件名web 在master_Redis数据库执行master指令： lpush redis_key url 1）redis_key 是本身设置的redis 请求出队列的三种形式 1.默认的scrapy优先级

>>阅读原文<<