爬虫京东图书实现分布式爬虫scrapy_redis（详）

京东图书实现分布式爬虫 什么是分布式爬虫 – 分布式爬虫就是多台计算机上都安装一样的爬虫程序，重点是协同采集。就是大家伙一起完成一件事。 准备工作 安装redis，百度上很多安装教程，这里不重复讲了 pip install scrapy_redis 为了演示分布式的效果，准备多台服务器，或者开几个虚拟机，我这里开了一台Ubuntu 爬虫代码在文末 分析目标网站 京东图书全类目https://boo

>>阅读原文<<