Python分布式爬虫详解（一）

当项目上升到必定境界时候，须要同时抓取几百个甚至上千个网站，这个时候，单个的爬虫已经知足不了需求。好比咱们平常用的百度，它天天都会爬取大量的网站，一台服务器确定是不够用的。因此须要各个地方的服务器一块儿协同工做。python 本章知识点：git a.scrapy-redis简介程序员 b.开始项目前的准备github 1、Scrapy-Redis 简介redis scrapy-redis是一个基于

>>阅读原文<<