spark宽依赖与窄依赖

窄依赖:Narrow Dependencyspa 父RDD和子RDD是一对一的依赖关系,如map,filterblog 宽依赖:Shuffle Dependencymap 本质如其名,本质就是shuffle。如reduceByKey,groupyByKeyim 以wordcount为例,剖析图以下:d3
相关文章
相关标签/搜索