Spark计算模型RDD(3)——RDD的依赖关系

RDD和它依赖的父RDD的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。 窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition Lineage(血统) RDD只支持粗粒度转换,即只记录单个块上执行
相关文章
相关标签/搜索