SparkContext的初始化机制

1. createTaskScheduler():创建SparkScheduler,SparkDeploySchedulerBackend(它在底层负责接收TaskSchedulerImpl的控制,实际上负责与Master的注册,Executor的反注册,task发送到Executor等操作),调用TaskSchedulerImpl的init()方法,创建SchedulePool,它有不同的优先策
相关文章
相关标签/搜索