MapReduce 过程详解

MapReduce 过程详解 一.Map端: 二.Reduce端: 一.Map端: Map节点运行map task任务生成map的输出结果 1.Shuffer的工作内容 从运算效率的出发点,map的输出结果有限存储在map节点的内存中.每个map task都有一个内存缓冲区,存储着map的输出结果,当缓冲快满时,需要将缓冲区的数据以一个临时文件的形式存储到磁盘中,当整个map task结束后,在对

>>阅读原文<<