Linux环境下使用scrapyd+spiderkeeper部署scrapy爬虫

声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！ 项目场景： 当我们入手爬虫工作的时候，一开始可能就是几个爬虫，我们可以手动调度部署，日积月累后，可能从十个到一百个，当这100个爬虫完成之后，我们就要手动的将他们重新启动，这就很麻烦，而且你要是想看看他们的输出日志还要一个一个的找，想必这时候就少不了一款快速部署、任务调度和查看日志的工具，这里我们选择的是scra

>>阅读原文<<