Python分布式爬虫详解（三）

上一章中，利用scrapy-redis做了一个简单的分布式爬虫，虽然很一般（只有30个请求）但是基本能说清楚原理，本章中，将对该项目进行升级，使其成为一个完整的分布式爬虫项目。 Python分布式爬虫详解（一） Python分布式爬虫详解（二） 本章知识点： a.代理ip的使用 b.Master端代码编写 c.数据转存到mysql 一、使用代理ip 在 中，介绍了ip代理池的获取方式，那么获取到这

>>阅读原文<<