离线数据开发之任务调度系统

大数据调度系统的由来 1）大数据下，调度系统时整个大数据体系的指挥中心，负责合理的调配资源。 2）在调度系统中各类任务互相依赖，形成一个有向无环图。 3）传统的数据仓库是依靠定时任务的方式进行调度，这种方式存在几个缺点： ① 任务调度依据时间，造成前一个任务未完成而后面的任务已经开始 ② 任务难以并发，难以设置优先级 ③ 任务管理维护比方便 4）大数据下数据量巨大，同时任务种类繁多，如MapRed

>>阅读原文<<