Spark(八)—— RDD依赖关系和Spark任务中的Stage

依赖关系 窄依赖 比喻为独生子女。每一个父RDD分区,最多被子RDD的一个分区使用。eg:map,filter,union 宽依赖 多个子RDD分区,依赖同一个父RDD分区。eg:groupByKey 任务划分阶段的依据:宽依赖 DAG(Directed Acyclic Graph)叫做有向无环图,原始的RDD通过一系列的转换就形成了DAG,根据RDD之间的依赖关系的不同将DAG划分成不同的Sta
相关文章
相关标签/搜索