每日7千次的跨部门任务调度，有赞怎么设计大数据开发平台？

随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前，面临一系列的问题： 多个开发和调度入口，不同的业务部门之间的项目或组件很难复用，同时

>>阅读原文<<