spark中宽依赖和窄依赖

宽依赖 父RDD的分区被子RDD的多个分区使用。例如 groupByKey、reduceByKey、sortByKey等操做会产生宽依赖,会产生shuffle 窄依赖 父RDD的分区都只被子RDD的一个分区使用。例如map,filter,union等操做就会产生窄依赖。 欢迎关注胖八毛微信技术公众号
相关文章
相关标签/搜索