MapReduce工作原理图详解

MapReducer工作原理图详解 一个刚开始学习大数据的小白，愿意和大家分享所学所得。 下面这幅图是我一笔一画制作的，每一步都有标记，详细介绍了MapReducer工作原理。 具体的Shuffle流程如下： 1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 3）多个溢出文件会被合并成大的溢出文件 4）在溢出过程及合

>>阅读原文<<