spark------shuffle理解

1 shuffle介绍 在Hadoop的MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过Shuffle这个环节。由于Shuffle阶段涉及磁盘的读写和网络传输，因此Shuffle的性能高低直接影响到整个程序的性能和吞吐量。Hadoop的MapReduce流程，其中Shuffle阶段是介于Map和Reduce阶段之间。 Shuff

>>阅读原文<<