Spark深入解读(二)---- 工作流程

Spark工作流程 1.使用Spark-submit提交代码至服务器上 2.创建SparkContext,在SparkContext初始化的时候会创建DAGScheduler和TaskScheduler 3.TaskScheduler会启动一个后台进程去集群Master注册Application,申请任务资源,比如CPU,内存等等 4.Master接收注册请求后会利用自己的资源调度算法,在Spar
相关文章
相关标签/搜索