scrapy分布式爬虫中Scrap_redis部署

一。1.什么是scrapy_redis? scrapy_redis是第三方库 2.什么是 分布式爬虫？ 简单的理解就是一台主机电脑控制多台副机电脑，以相同的代码，爬取不同的内容。 注：在众多电脑中，选择其中一台开启redis服务，目的就是在redis中创建公用的queue和公用的set， 然后剩余电脑只需要连接redis服务即可，剩余电脑不需要开启redis-server服务。 二。安装 scra

>>阅读原文<<