python进阶 -----scrapy分布式爬虫

    大家都知道，现在爬虫爬取的数据很多，仅凭单台主机已经无法满足人们的需要，所以，分布式爬虫提供了很好的解决方案。     第一步，我们需要安装redis服务，及redis的可视化管理工具。附上下载链接：     https://github.com/MSOpenTech/redis/tags   安装教程：https://blog.csdn.net/u010137839/article/de

>>阅读原文<<