Hadoop笔记之shuffle工做流程图及其原理分析

Map函数开始产生输出时,并非简单地将数据写到本地磁盘,这个过程很复杂,他利用缓冲的方式写到内存,并出于效率的考虑进行与排序函数 与其说shuffle为mapreduce之间的独立处理函数 不如说是map中数据输入reduce一通道,由于shuffle一部分属于对map task  另外一部分为reduce task fetch 名词翻译:spa input split  输入流切分       

>>阅读原文<<