Spark_调度流程

1> 将我们编写好的代码打成jar包,提交到集群上运行。 2> 执行spark-submit脚本 3> 调用sparkSubmit这个类的main方法,在main方法中通过反射的方式, 创建我们自己spark作业的主类实例对象。 然后调用main方法,开始执行我们自己写的代码。 4> 开始初始化sparkContext对象,在初始化sparkContext对象时会创建 两个重要的对象(DAGSch
相关文章
相关标签/搜索