Stage 细解

Spark Application在遇到action算子时,SparkContext会生成Job,并将构成DAG图将给DAG Scheduler解析成Stage。 Stage有两种: ShuffleMapStage  这种Stage是以Shuffle为输出边界 其输入边界能够是从外部获取数据,也能够是另外一个ShuffleMapStage的输出 其输出能够是另外一个Stage的开始 Shuffle
相关文章
相关标签/搜索