什么是宽窄依赖，及特殊join算子，join时何时产生shuffle，何时不产生shuffle

1、 什么是宽窄依赖， 宽依赖： 发生shuffle时，一定会产生宽依赖，宽依赖是一个RDD中的一个Partition被多个子Partition所依赖（一个父亲多有儿子），也就是说每一个父RDD的Partition中的数据，都可能传输一部分到下一个RDD的多个partition中，此时一定会发生shuffle 窄依赖： 一个RDD中的一个 Partition最多 被一个 子 Partition所依

>>阅读原文<<