Spark的架构和任务调度

Spark的任务调度顺序: 1.首先我们会选择集群中的一台机器去提交我们的代码,我们提交的这个代码就是一个application 2.如果是client的模式,会在提交任务的这台机器上面开启一个driver线程,如果是cluster的模式,会随机选择一台机器开启driver线程,driver开启以后,就开始打算执行提交的代码,开启driver的时候对SparkContext进行初始化,因为Spar
相关文章
相关标签/搜索