【Spark】SparkCore解析(一):宽依赖和窄依赖

何为依赖? 由于RDD是粗粒度的操作数据集,每个Transformation操作都会生成一个新的RDD,所以RDD之间就会形成类似流水线的前后依赖关系;RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。如图所示显示了RDD之间的依赖关系👇 窄依赖:是指每个父RDD的每个Partition都只被子RDD的
相关文章
相关标签/搜索