scrapyd分布式爬虫部署

需要安装scrapyd=1.2.0  scrapy-client=1.2.0a1 启动scrapyd服务 配置爬虫项目 开始向scrapyd中部署项目 通过scrapyd-deploy命令测试scrapyd-deploy是否可用。 查看当前可用于部署到scrapyd服务中的爬虫有哪些。 参数1： [deploy: jobbole] 参数2： scrapy.cfg文中中的url 命令scrapy l

>>阅读原文<<