spark的shuffle过程优化那点事

Background 在MapReduce框架中，shuffle是链接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须通过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark做为MapReduce框架的一种实现，天然也实现了shuffle的逻辑，本文就深刻研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapRe

>>阅读原文<<