分布式节点部署爬虫管理平台

管理平台可以实现在多个节点上跑爬虫任务的需求，也就是在分布式节点上管理爬虫。例如有多台服务器，需要在这些服务器集群上运行、监控、操作相关爬虫脚本，并集中统一查看和管理，这种应用场景就非常适合天生支持分布式管理的爬虫管理平台Crawlab。要让各个节点运行的Crawlab服务协同工作在同一个网络，只需要让这些服务连接到MongoDB和Redis数据库，而不需要暴露自己的IP和端口。     下图是一

>>阅读原文<<