Hadoop2.7.3 mapreduce(五)详解

一、为什么使用Mapreduce? MapReduce是为了解决传统HPC框架在面对海量数据时扩展困难而产生的。 MapReduce致力于解决大规模数据处理的问题,利用局部性原理将整个问题分而治之。 MapReduce集群由普通PC机构成,为无共享式架构。在处理之前,将数据集分布至各个节点。处理时,每个节点就近读取本地存储的数据处理(Map),将处理后的数据进行合并(Combine)、排序(Shu
相关文章
相关标签/搜索