spark资源调度和任务调度流程

spark运行架构 spark资源调度和任务调度流程: 1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。 2、当Spark提交一个Application后，根据RDD之间的依赖关系将Application形成一个DAG有向无环图。任务提交后，Spark会在Driver端创建两个对象：DAGScheduler和TaskScheduler。 3、DAG

>>阅读原文<<