Spark运行流程

运行流程: 1.开发好代码以后打成jar包提交到集群上面去运行。使用的是Spark-submit脚本提交的。首先运行的就是new SparkContext()2.在SparkContext进行初始化的时候,完成了两个重要的事情:创建了DAGScheduler、TestScheduler3.TaskScheduler去向master进行注册,并进行资源申请。4.Executor启动完成以后,去向Dr
相关文章
相关标签/搜索