MapReduce的核心--Shuffle

这篇来说说shuffle的流程. map端 首先存在一个环形缓冲区,所有map处理完毕的KV对就输出到这里.体现在源码中就是: public class MapTask.MapOutputBuffer byte[] kvbuffer;  一会再说说这个kvbuffer,先来说说流程. 首先map端的输出依次存储至kvbuffer,kvbuffer分为两部分,一部分存储kv相关的元数据(大小

>>阅读原文<<