RDD的依赖关系笔记

窄依赖和宽依赖： 窄依赖：每个父RDD的一个Partition最多被子RDD的一个Partition所使用。如map，filter，union操作都会产生窄依赖。 宽依赖：一个父RDD的Partition会被多个子RDD的Partition所使用。如groupByKey，reduceByKey，sortByKey等操作都会产生宽依赖。宽依赖会产生Shuffle操作。 也就是说，如果父RDD的一个P

>>阅读原文<<