spark任务生成和提交流程详解

首先将代码打包上传到集群 一、Driver端会调用SparkSubmit类(内部执行submit->doRunMain->经过反射 获取应用程序的主类对象->执行主类的main方法) 二、构建sparkConf和sparkContext对象，在sparkContext入口作了三件事，建立 了sparkEnv对象（建立了ActorSystem对象）TaskScheduler（用来生成并发送 task

>>阅读原文<<