【Spark】SparkCore解析(一):宽依赖和窄依赖

何为依赖? 因为RDD是粗粒度的操做数据集,每一个Transformation操做都会生成一个新的RDD,因此RDD之间就会造成相似流水线的先后依赖关系;RDD和它依赖的父RDD(s)的关系有两种不一样的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。如图所示显示了RDD之间的依赖关系👇 web 窄依赖:是指每一个父RDD的每一个Partition
相关文章
相关标签/搜索