RDD的依赖与分区

1 宽依赖和窄依赖 RDD从具体的依赖的角度讲，有窄依赖和宽依赖2种情况。 窄依赖：指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter等都会产生窄依赖； 宽依赖：指一个父RDD的Partition会被多个子RDD的一个Partition所使用，如groupByKey，reduceByKey等操作都会产生宽依赖。 总结：如果父RDD的一个Pa

>>阅读原文<<