基于Scrapy_redis部署scrapy分布式爬虫

1. 使用命令行工具下载工具包 scrapy_redis pip install scrapy_redis 2. 使用pycharm打开项目, 找到settings文件, 配置scrapy项目使用的调度器以及过滤器 3. 修改spider爬虫文件 4. 如果连接的远程服务, 例如MYSQL,Redis等, 需要将远程服务连接开启, 保证在其他主机上能连接成功 5. 配置远程连接的MySQL及red

>>阅读原文<<