MapReduce on Yarn

MapRduce MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。 MapReduce的思想就是“分而治之”: Map(映射):把复杂的任务分解为若干个“简单的任务”来处理。 Reduce(规约):把map阶段的结果进行汇总。 实体一:客户端,用来提交Map
相关文章
相关标签/搜索