scrapy-redis分布式爬虫的配置

1.启动Redis 在CMD中cd进入存放Redis.exe的文件夹，并运行:python redis-server.exe 2.爬虫代码的写法 安装web pip install scrapy-redis 不用分布式的话爬虫代码是继承自scrapy.Spider这个父类。这是Scrapy里面最基本的一个爬虫类，只能实现基本的爬虫功能，使用分步式须要把它替换掉，从而实现更高级的功能。 下面是爬虫代

>>阅读原文<<