在服务器上搭建scrapy分布式爬虫环境的过程

这段时间在用 scrapy 爬取大众点评美食店铺的信息，由于准备爬取该网站上全国各个城市的信息，单机跑效率肯定是跟不上的，所以只能借助于分布式。scrapy 学习自崔庆才老师的视频，受益颇多，代码简练易懂，风格清新。这里梳理一遍从刚申请的服务器环境配置，python 安装，到搭建能运行分布式爬虫的整个流程。 服务器我是申请的阿里云的学生机，腾讯云和美团云也申请了，相比起来还是阿里云用起来舒服，腾讯

>>阅读原文<<