Spark系列——RDD的宽依赖和窄依赖,以及Spark的运行架构,运行流程,框架的特点

一、窄依赖(narrow dependency) 窄依赖是指:每一个父RDD的一个partition最多被子RDD的一个partition所使用,例如:map,filter,union等操作会产生窄依赖,相当于父母和独生子女的关系 二、宽依赖(shuffle denpendency) 宽依赖是指:每一个父RDD的一个partition多个子RDD的一个partition所使用,每一个父RDD的一个
相关文章
相关标签/搜索