Spark任务运行过程解析

spark-submit->SparkSubmit->main->submit->doRunMain->RunMain->通过反射,创建我们编写的主类的实例对象,调用main方法->开始执行我们的代码->初始化sparkContext对象->创建初始rdd->出发action算子->提交job->worker执行任务->任务结束 spark任务的本质:将rdd以来关系切分成一个个stage,然后将
相关文章
相关标签/搜索