spark exectors的启动总结

在spark启动之后,worker和master注册通信之后,在进入用户提交app中,new SparkContext之后就会在worker上分配exectors了。 首先在sparkContext中,会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler的时候也会创建schedulerBackend;下面看createTaskScheduler方法:
相关文章
相关标签/搜索