10. SparkShuffle & 文件寻址

1. SparkShuffle概念 Shuffle描述着数据从map task输出到reduce task输入的这段过程。 一般将在map端的Shuffle称之为Shuffle Write，在Reduce端的Shuffle称之为Shuffle Read. shuffle的性能高低直接影响了整个程序的性能和吞吐量。 问题：聚合之前，每一个key对应的value不一定都是在一个partition中，也

>>阅读原文<<