Spark算子篇详解

算子从是否触发job的角度划分,能够分为Transformation算子和Action算子,Transformation算子不会产生job,是惰性算子,只记录该算子产生的RDD及父RDD的partiton之间的关系,而Action算子将触发job,完成依赖关系的全部计算操做。 算子是优化Spark计算框架的主要依据。html Transformations 下表列出了Spark支持的一些常见转换。
相关文章
相关标签/搜索