Spark做业执行原理

Spark的做业和任务调度系统是其核心，它可以有效地进行调度根本缘由是对任务划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显得游刃有余。相关术语介绍：spa 做业（Job）：RDD中由行动操做所生成的一个或多个调度阶段。 调度阶段（Stage）：每一个做业会由于RDD之间的依赖关系拆分红多组任务集合，称为调度阶段，也叫作任务集（TaskSet）。调度阶段的划分是由DAGSchedu

>>阅读原文<<