spark shuffle 介绍、含义、做用

在MapReduce框架中，shuffle是链接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须通过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark做为MapReduce框架的一种实现，天然也实现了shuffle的逻辑。 算法 Shuffle的含义 Shuffle是MapReduce框架中的一个特定的phase（分阶段），介于Map

>>阅读原文<<