大数据平台任务调度与监控系统

目前各业务的数据任务基本都是靠Crontab定时调度，各个任务之间的依赖仅靠简单的串行来实现。 这样做的问题： 很容易造成前面的任务未结束或者失败，后面的任务也运行起来，最终跑出错误的分析结果； 任务不能并发执行，增加任务执行的整体时间窗口； 任务管理和维护很不方便，不好统计任务的执行时间及运行日志； 缺乏及时有效的告警； SkyNet调度监控系统，正是为了解决以上问题。 系统架构 名词解释 Sk

>>阅读原文<<