Spark DAG之划分Stage

概要 介绍Stage的定义，DAGScheduler划分Stage流程。web Stage 查看Stage定义 Stage中有两个重要属性，rdd和parents，分别记录的是切分处的RDD和父Stage信息，这一点结合我后面的例子更好理解。Stage有两个子类，ShuffleMapStage、ResultStage，二者分别增长了一个重要属性信息，以下svg stage 差别属性 做用 Shuf

>>阅读原文<<