Scrapyd ScrapydWeb 简单高效地部署和监控分布式爬虫项目

@安装和配置 #先确保所有主机都已经安装和启动Scrapyd,需要将Scrapyd配置文件中的bind_address修改为bind_address=0.0.0.0,然后重启Scrapyd service @安装scrapydweb #pip install scrapyweb @启动scrapydweb #/usr/local/python3/bin/scrapydweb @配置scrapydw

>>阅读原文<<