窄依赖和宽依赖

目录: 一.简介 二.区别 三.stage划分 一.简介 Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系。针对不同的转换函数,RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency) 二.区别 窄依赖是指父RDD的每个
相关文章
相关标签/搜索