spark job提交过程

Driver的任务提交过程web 一、Driver程序的代码运行到action操做,触发了SparkContext的runJob方法。 二、SparkContext调用DAGScheduler的runJob函数。 三、DAGScheduler把Job划分stage,而后把stage转化为相应的Tasks,把Tasks交给TaskScheduler。 四、经过TaskScheduler把Tasks添
相关文章
相关标签/搜索