MapReduce框架笔记——Shuffle过程详解

0x0 背景 map-reduce是hadoop自带的计算框架，虽然如今大多数项目已经不采用该框架进行计算（Spark等基于内存的计算框架效率更高），可是他的原理仍是值得进行研究的。map-reduce框架核心就是shuffle的过程，下面记录一下关于shuffle的理解。web 0x1 Map端Shuffle 首先看下Hadoop权威指南中的图片 app 针对一个map任务，可看到如下步骤： 1

>>阅读原文<<