Spark核心原理 - 做业执行

Spark做业执行原理 Spark的做业和任务调度系统是其核心，它可以有效地进行调度的根本缘由是对任务划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。node   做业(Job)：RDD中由行动操做所生成的一个或多个调度阶段。 调度阶段(Stage)：每一个做业会由于RDD之间的依赖关系拆分红多组任务集合，成为调度阶段，也叫作任务集(TaskSet

>>阅读原文<<