scrapy_redis中以set存入url和附带内容-写给本身看爬虫系列7

前言 需求：初始化url除了url外还有其余字段信息须要附带上，以便item输出时继承这些信息 思路：改写scrapy_redis中的next_request类，和改写将url存入redis的脚本。将须要附带的信息和url在next_request处理中进行分离，将附带的信息放入meta中从而实现继承信息。redis spider中的 next_requests scrapy_redis经过nex

>>阅读原文<<