Scrapy基于scrapy_redis实现分布式爬虫部署

准备工做 1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis mysql 2.准备好一个没有BUG,没有报错的爬虫项目 redis 3.准备好redis主服务器还有跟程序相关的mysql数据库sql 前提mysql数据库要打开容许远程链接,由于mysql安装后root用户默认只容许本地链接,详情请看此文章数据库 部署过程 1.修改爬虫项目的

>>阅读原文<<