Spark中的核心概念和任务调度

DAG缓存 在spark里每个操做生成一个RDD，RDD之间连一条边，最后这些RDD和他们之间的边组成一个有向无环图，这个就是DAG。数据结构 Spark内核会在须要计算发生的时刻绘制一张关于计算路径的有向无环图，也就是DAG。有了计算的DAG图，Spark内核下一步的任务就是根据DAG图将计算划分红任务集，也就是Stage，这样能够将任务提交到计算（节点进行真正的计算）。Spark计算的中间结果

>>阅读原文<<