scrapy-redis 更改队列和分布式爬虫

为初学者方便对分布式爬虫的学习，总结了一下自己的理解和网上的知识点 初学者的几个疑问点： 1.什么是分布式爬虫？ 请参考：http://www.javashuo.com/article/p-ecezuiyy-ky.html 2.分布式爬虫需要掌握哪些技能？ scrapy-redis原理 3.scrapy-redis是干吗用的？ 记分布式爬虫关键点： （1）scrapy : 实现爬虫的主体。scra

>>阅读原文<<