Spark:宽依赖和窄依赖

站在父RDD角度 窄依赖:一对一 站在父RDD角度 宽依赖:一对多 宽依赖和窄依赖:   宽依赖:父RDD的分区被子RDD的多个分区使用   例如 groupByKey、reduceByKey、sortByKey等操作会产生宽依赖,会产生shuffle 窄依赖:父RDD的每个分区都只被子RDD的一个分区使用  例如map、filter、union等操作会产生窄依赖   注意:join操作有两种情况
相关文章
相关标签/搜索