spark资源调度和任务调度流程

Spark 资源调度和任务调度的流程： 启动集群后，Worker 节点会向 Master 节点汇报资源情况，Master 掌握了集群资源 情况。当 Spark 提交一个 Application 后，根据 RDD 之间的依赖关系将 Application 形 成 一 个 DAG 有 向 无 环 图 。 任 务 提 交 后 ， Spark 会 在 Driver 端 创 建 两 个 对 象 ： DAGS

>>阅读原文<<