Spark RDD 依赖关系

Spark RDD的依赖关系 RDD之间的依赖关系分为两种,分别是NarrowDependency与ShuffleDependency,其中ShuffleDependency为子RDD的每一个Partition都依赖于父RDD的全部Partition,而NarrowDependency则只依赖一个或部分的Partition。下图的groupBy与join操做是ShuffleDependency,m
相关文章
相关标签/搜索