scrapyd 部署爬虫项目

scrapyd部署爬虫的优势: 1、方便监控爬虫的实时运行状态,也可以通过接口调用开发自己的监控爬虫的页面 2、方便统一管理,可以同时启动或关闭多个爬虫 3、拥有版本控制,如果爬虫出现了不可逆的错误,可以通过接口恢复到之前的任意版本 实现功能,爬虫项目在服务器端运行,实现爬虫远程管理,不占用本机的运行空间。 =============================================
相关文章
相关标签/搜索