Spark-Scheduler:一,概述

Spark Scheduler:DAGScheduler和TaskScheduler。构建的不同的RDD,因为代码逻辑组成了一个DAG。Spark提供了多种转换和动作,将复杂的拓扑隐藏掉,使用户简单的使用。   任务调度逻辑视图 由上图很容看出DAGScheduler是干嘛的。 DAGScheduler根据依赖关系建立DAG,然后将DAG划分不同的Stage(阶段),然后每组由可以并发执行的一组T
相关文章
相关标签/搜索