MapReduce shuffle原理

Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是:MapReduce和HDFS。MapReduce提供了对数据的计算,HDFS提供了海量数据的存储。 MapReduce MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解
相关文章
相关标签/搜索