“戏”说Spark-Spark核心-Stage划分及Pipline的计算模式

“戏”说Spark-Spark核心-Stage划分及Pipline的计算模式 RDD的依赖关系回顾 在“戏”说Spark-Spark核心-RDD依赖关系及源码解析一文中,我们总结了RDD之间的依赖关系分为宽依赖和窄依赖,划分宽依赖和窄依赖的依据总结为一句话就是: 如果父RDD的一个Partition被子RDD的一个Partition所使用就是窄依赖,否则的话就是宽依赖。 其中,我们也提到了Spar
相关文章
相关标签/搜索