Spark中划分stage的规则

RDD操作 转化(Transformation):泛指接收RDD作为输入,并输出RDD的函数。被划分为窄依赖和宽依赖。 行为(Action):将RDD转化为非RDD的变量的操作。通常用于返回RDD计算的最终结果。 窄依赖和宽依赖 窄依赖(Narrow Dependencies):父RDD集的一个分区最多被子RDD集的一个分区所依赖。                                
相关文章
相关标签/搜索