Spark内核工作流程

这是一个较为细粒度的Spark运行流程。 我们写的Spark程序叫做Application。 Application会通过spark-submit来提交给Spark集群来运行。具体来说就是spark-submit会通过反射机制来创建和构造一个DriverAcor进程出来。这里的Driver就是我们的驱动程序,它负责执行我们的代码,当然在执行代码的时候首先会初始化SparkContext。 在初始化
相关文章
相关标签/搜索