python主从分布式爬虫

为何要用分布式爬虫python 学习爬虫已经有一段时间了，以前的爬虫都是一个python文件就实现的，没考虑性能，效率之类的。因此做为一个合格的spider，须要学习一下分布式爬虫。redis 什么分布式爬虫？简单地说就是用多台服务器去获取数据，让这些服务器去协同，分配各自的任务。服务器 分布式爬虫设计分布式 最经常使用的一种就是主从分布式爬虫，本文将使用Redis服务器来做为任务队列。ide 如

>>阅读原文<<