spark源码阅读7-调度系统1(概述)

简单来说,Spark调度系统用于将用户提交的“任务”调度到集群中的不同结点执行。但是Spark实现的调度系统,并非一句话所概括的这么简单。Spark的资源调度为两层调度。这里只介绍第二层调度。(第一层调度将在9中介绍) 调度的对象是什么?作业或者任务。在业务场景中所说的任务与Spark集群中运行的任务在概念上存在很多偏差。人类往往把一件要做的事情认为是任务,因此“向Spark集群提交一个任务”这句
相关文章
相关标签/搜索