scrapy_redis分布式爬虫总结

一，scrapy_redis分布式爬虫图解 二、scrapy-redis实现scrapy分布式爬取分析的原理 scrapy-redis原理: 1.spider解析下载器下载下来的response,返回item或者是links 2.item或者links经过spidermiddleware的process_spider_out()方法，交给engine。 3.engine将item交给itempip

>>阅读原文<<