Spark中宽依赖、shuffle、join之间的关系

这是一个有意思的问题。3d 准确来讲只有宽依赖===>shuffle，也就是若是发生了宽依赖那么就必定发生了shuffle过程。其他的都没有直接联系。blog 1.发生宽依赖就必定会伴随着shuffle。 2.发生shuffle不必定产生宽依赖 好比一个RDD在不断的作join的过程。这个过程当中每一个RDD都使用了相同的分区器内部是基于cogroup的shuffle操做可是它的整个过程在同一个S

>>阅读原文<<