如何将scrapy爬虫转换为scrapy_redis爬虫？

注意事项：在阅读本文之前，必须具备使用scrapy编写爬虫的能力。 使用scrapy框架就可以快速开发一个爬虫，如果针对一个大型的网站，单机爬虫就会显得心有余而力不足。那么有没有便捷的办法是单机爬虫转换为分布式爬虫呢？ 首先需要了解单机爬虫与分布式爬虫的区别: 我们先来查看两张思维导图： scrapy 框架实现原理 scrapy_redis 框架实现原理 在上述两张图示中我们可以看到scrapy_

>>阅读原文<<