基于scrapy_redis的分布式爬虫

1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis。 2.准备好一个没有BUG,没有报错的爬虫项目。 3.打开该项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 4. 修改spider爬虫文件 5. 如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接 6.配置远程

>>阅读原文<<