一种基于离线计算的分布式调度系统

1.1 背景 随着企业业务的扩展，运营管理和生产过程中每天都会产生大量的异构数据，如何能高效的对这些数据进行分析和计算直接影响到大数据在应用中的价值和使用。 调度系统是一个基于工作流引擎的服务器，可以在上面运行Hadoop的MapReduce、Pig等任务。调度系统使用mysql存储工作流任务定义信息，任务之间的依赖信息，当前运行的工作流实例，包括实例的状态和变量等；使用hbase存储运行脚本。调

>>阅读原文<<