分布式爬虫和redis的下载和安装

一、什么是分布式爬虫 1.默认情况下scrapy是单机爬虫,只能在一台电脑上运行 因为爬虫调度器当中的queue去重和set集合都是在本机上创建的 其他的电脑无法访问另外一台计算机上的内存的内容 2.分布式爬虫用一个共同的程序,同时部署到多台电脑上运行 这样可以提高爬虫的速度  实施分布式爬虫 二、分布式爬虫的前提 1 保证每一台计算机都能够正常执行scrapy命令  能够启动爬虫 2 要保证所有

>>阅读原文<<