Python分布式爬虫详解（二）

上一章Python分布式爬虫详解（一）简单的介绍了什么是分布式爬虫，废话不多说，本章开始从零搭建一个爬取电影天堂电影信息的分布式爬虫。 本章知识点： a.CrawlSpider爬取电影天堂动作片第一页数据 b.将项目改为RedisCrawlSpider爬虫 一、CrawlSpider爬虫 要想搭建分布式爬虫，我们可以写一个普通的爬虫，然后对其修改，使之成为分布式爬虫。 首先，新建CrawlSpid

>>阅读原文<<