sprapy分布式爬虫简要步骤

scrapy_redis:第三方库实现分布的部署 分布式爬虫: 只需要在众多电脑中, 选择其中一台开启redis服务, 目的就是在redis中创建公用的queue和公用的set, 然后剩余电脑只需要连接redis服务即可，剩余电脑不需要开启redis-server服务。 1>在虚拟环境中安装pip install redis 2>去github上搜索scrapy_redis库，解压，保存到项目根目

>>阅读原文<<