Spark源码解读之Shuffle计算引擎剖析

Shuffle是Spark计算引擎的关键所在，是必须经历的一个阶段，在前面的文章中，咱们剖析了Shuffle的原理以及Map阶段结果的输出与Reduce阶段结果如何读取。该篇文章是对前面两篇文章 【Spark源码解读之Shuffle原理剖析与源码分析】 【Spark存储机制源码剖析】 细节的深刻探究。web 了解Shuffle原理的读者都知道，整个Shuffle过程被划分为map和reduce阶段

>>阅读原文<<