Python分布式爬虫详解（一）

当项目上升到一定境界时候，需要同时抓取几百个甚至上千个网站，这个时候，单个的爬虫已经满足不了需求。比如我们日常用的百度，它每天都会爬取大量的网站，一台服务器肯定是不够用的。所以需要各个地方的服务器一起协同工作。 本章知识点： a.scrapy-redis简介 b.开始项目前的准备 一、Scrapy-Redis 简介 scrapy-redis是一个基于redis数据库的scrapy组件，它提供了四种

>>阅读原文<<