开源组件系列(13):交互式计算引擎

概述 产生背景   在开源大数据领域,交互式引擎并不是从一开始就出现的。起初,大数据领域数据处理引擎以MapReduce为主,但MapReduce引擎采用了批处理的理念,数据处理能力低效: IO密集型:Map阶段中间结果写磁盘,Reduce阶段写HDFS,多个MapReduce作业之间通过共享存储系统HDFS交换数据。 任务调度和启动开销大,大量任务需要分布式调度到各个节点上,且每个任务需启动一个
相关文章
相关标签/搜索