Spark 工作流程

1. Spark job提交过程 Driver的任务提交过程   1、Driver程序的代码运行到action操作,触发了SparkContext的runJob方法。  2、SparkContext调用DAGScheduler的runJob函数。  3、DAGScheduler把Job划分stage,然后把stage转化为相应的Tasks,把Tasks交给TaskScheduler。  4、通过T
相关文章
相关标签/搜索