scrapy-redis 介绍

1.介绍 scrapy是一个爬虫框架，但是不支持分布式。scrapy-redis在scrapy的基础上，更方便地实现了分布式。 scrapy-redis提供了下面四种组件（component）：（四种组件意味着scrapy的四个模块都要修改） Scheduler Duplication Filter Item Pipeline Base Spider Schedular: 改造了python本来的

>>阅读原文<<