Spark的做业提交流程简介

这是本身读取源码并结合他人的总结,写的大概的流程,仅供参考web 第一部分:大致流程 (1)将咱们编写的程序打成jar包 (2)调用spark-submit脚本提交任务到集群上运行 (3)运行sparkSubmit的main方法,在这个方法中经过反射的方式建立咱们编写的主类的实例对象,而后调用main方法,开始执行咱们的代码(注意,咱们的 spark程序中的driver就运行在sparkSubmi
相关文章
相关标签/搜索