spark基础之调度器运行机制简述

一 概述框架 驱动程序在启动的时候,首先会初始化SparkContext,初始化SparkContext的时候,就会建立DAGScheduler、TaskScheduler、SchedulerBackend等,同时还会向Master注册程序;若是注册没有问题。Master经过集群管理器(cluster manager)会给这个程序分配资源,而后SparkContext根据action触发job。函
相关文章
相关标签/搜索