spark stage 的理解

先看看依赖关系的解释: 如下图,左边的一系列操作,map,filter,union,join操作都是窄依赖,而这一系列的窄依赖,都是转换的过程,并不会触发action,因此,spark会将这些转换放在同一个阶段Stage2中。而宽依赖会触发action,因此作为另一个阶段Stage3
相关文章
相关标签/搜索