spark提交任务过程 总纲

一、构造SparkContext 1.1. 在shell下,通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式,创建和构造一个DriverActor进程出来(scala中的actor类似java的多线程) 1.2. Driver进程会执行我们提交的Application应用程序,一般情况下,先构造SparkConf,再构造SparkContext 1
相关文章
相关标签/搜索