任务流程引擎设计

一、前言         前段时间做的一块东西,涉及到任务的拆解与依赖,由于时间紧急,当时采用的硬编码办法解决,现在终于回过神来,于是设计成一个“小框架”。 二、问题描述         进行大数据分析,用Java调用Sqoop接口将数据导入Hadoop,然后运行一个mapreduce任务和多个Hive任务进行建表、统计、分析,最后运算结果导回数据库。 三、图解问题 四、需求分析         
相关文章
相关标签/搜索