Spark Yarn核心概念说明

1) Driver:和ClusterManager通讯,进行资源申请、任务分配并监督其运行情况等。spa 2) ClusterManager:指YARN。进程 3) DAGScheduler:把spark做业转换成Stage的DAG图。资源 4) TaskScheduler:把Task分配给具体的Executor。spark 5) ResourceManager:负责整个集群的资源管理和分配。io
相关文章
相关标签/搜索