Spark任务提交全流程(简述+全流程)

概略: 1.Driver端启动SparkSubmit进程,启动后开始向Master进行通信,此时创建了一个对象(SparkContext),接着向Master发送任务消息 2.Master接收到任务信息后,开始资源调度,此时会和所有的Worker进行通信,找到空闲的Worker,并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后,开始与Driver进行反向注册,接
相关文章
相关标签/搜索