Azkaban 系列(一)—— Azkaban 简介

一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统,必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题: 如何定时调度某个任务? 如何在某个任务执行完成后再去执行另一个任务? 如何在任务失败时候发出预警? … 面对这些问题,工作流调度系统应运而生。Azkaban就是其中之一。 1.2
相关文章
相关标签/搜索