scrapy_redis 和 docker 实现简单分布式爬虫

简介 在使用 scrapy 爬取 IT桔子公司信息，用来进行分析，了解 IT 创业公司的一切情况，之前使用 scrapy 写了一个默认线程是10的单个实例，为了防止被 ban IP 设置了下载的速度，3万多个公司信息爬了1天多才完成，现在想到使用分布式爬虫来提高效率。 源码githup 技术工具：Python3.5 scrapy scrapy_redis redis docker1.12 dock

>>阅读原文<<