使用Azkaban调度Spark任务

概述 为何须要工做流调度系统 l 一个完整的数据分析系统一般都是由大量任务单元组成：html shell脚本程序，java程序，mapreduce程序、hive脚本等java l 各任务单元之间存在时间前后及先后依赖关系node l 为了很好地组织起这样的复杂执行计划，须要一个工做流调度系统来调度执行；mysql   例如，咱们可能有这样一个需求，某个业务系统天天产生20G原始数据，咱们天天都要对

>>阅读原文<<