Spark中 sortByKey被划分到transformation中，却有action操作原因
今天跑一个任务， 在spark history Web UI中，sortByKey会触发一个job ？？？sortByKey不是transform吗？ 原因： Spark的sortBy，sortByKey会触发一个新的任务，这个Job是用于评估数据分布，评估结果用于后续的排序操作，并不是真正的排序操作。
相关文章
- 1. 关于Spark中 sortByKey被划分到transformation中，却有action操做缘由
- 2. Spark 的transformation和action操作
- 3. spark中RDD的transformation&action
- 4. Spark中RDD的transformation&action
- 5. Spark: Transformation和Action
- 6. Spark Transformation和Action
- 7. Spark中执行transformation和action的区别
- 8. Spark之Transformation和Action
- 9. Spark RDD Transformation和Action
- 10. spark rdd详解二(transformation与action操做）
- 更多相关文章...
- • Java 中操作 R - R 语言教程
- • Spring中Bean的作用域 - Spring教程
- • Scala 中文乱码解决
- • C# 中 foreach 遍历的用法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 关于Spark中 sortByKey被划分到transformation中，却有action操做缘由
- 2. Spark 的transformation和action操作
- 3. spark中RDD的transformation&action
- 4. Spark中RDD的transformation&action
- 5. Spark: Transformation和Action
- 6. Spark Transformation和Action
- 7. Spark中执行transformation和action的区别
- 8. Spark之Transformation和Action
- 9. Spark RDD Transformation和Action
- 10. spark rdd详解二(transformation与action操做）