浅谈MapReduce核心之shuffle

Hadoop拥有三大核心组件，HDFS作为底层的分布式文件系统，MapReduce作为计算框架，yarn作为资源调度管理器。 对于开发人员来说，理解MapReduce是很重要的。 在WordCount程序中，map生成的结果是一个个的元组，类似于（hello，1），非常非常多的元组，由context写入到hdfs中，而后续的Reduce阶段，实际上reduce方法接收的参数类似于这种，（hello

>>阅读原文<<