scrapy分布式爬虫

scrapy_redis scrapy是一个通用的爬虫框架，可是不支持分布式，scrapy_redis是为了更方便的实现scrapy分布式爬取，而提供了一些以redis为基础的组件（仅有组件）。html scrapy_redis工做原理： 调度器将再也不负责Url的调度，而是将url上传给scrapy_redis组件，由组件负责组织、去重 redis组件会经过指纹（key)来进行去重操做，而且把请

>>阅读原文<<