【Spark】Spark 存储原理--shuffle 过程

本篇结构： Spark Shuffle 的发展 Spark Shuffle 中数据结构 Spark Shuffle 原理 后记 Spark Shuffle 是 spark job 中某些算子触发的操作。当 rdd 依赖中出现宽依赖的时候，就会触发 Shuffle 操作，Shuffle 操作通常会伴随着不同 executor/host 之间数据的传输。 Shuffle 操作可能涉及的过程包括数据的排

>>阅读原文<<