大数据-Shuffle工作机制

Shuffle工作机制 Shuffle过程：数据从MapTask拷贝到ReduceTask的过程（MapReduce的核心） Shuffle基本要求： （1）完整地将数据从MapTask端拷贝到ReduceTask端 （2）在拷贝过程中，应尽量减少网络资源的消耗 （3） 尽可能地减少磁盘IO对Task执行效率的影响 （1）经过map()方法后，将数据写入环形缓冲区（默认为100M） （2）当缓冲区

>>阅读原文<<