Spark中的宽依赖和窄依赖

Spark中RDD的高效与DAG图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle Depencency）。 窄依赖： 指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对

>>阅读原文<<