Spark作业执行原理

Spark的作业和任务调度系统是其核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显得游刃有余。相关术语介绍： 作业（Job）：RDD中由行动操作所生成的一个或多个调度阶段。 调度阶段（Stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集（TaskSet）。调度阶段的划分是由DAGScheduler来

>>阅读原文<<