Spark源码走读(一) —— Spark应用提交流程

Spark应用是使用spark-submit脚本提交,脚本内容如下,可知该脚本把SparkSubmit类作为参数传给spark-class脚本 略去spark-class脚本上面的加载配置等步骤,发现这里使用launcher.Main启动SparkSubmit的执行从而启动应用。 SparkSubmit中的main函数,主要是解析参数,根据参数执行不同行为。 submit函数主要分两步: 1、为提
相关文章
相关标签/搜索