spark core源码阅读-RDD与Stage(五)

我们之前说过RDD只是抽象概念,RDD会被转换成Stage,进而被转换成Task,在Executor上执行,今天我们跟一下源码看spark是 如何转换的 Stage stage是一组并行任务,被作为Spark任务的一部分运行,并且这些任务持有相同的shuffle依赖.每个任务的DAG根据哪边发生 shuffle为边界划stages,并在调度器中执行有序的stages拓扑图,具体分为: Result

>>阅读原文<<