Spark Driver相关总结

Spark Driver相关总结 Driver的作用: 执行main方法 把用户程序转化为task 协调任务的调度 Driver相关总结 driver划分的task由executor执行 一个spark作业运行时包括一个Driver进程,也是作业的主进程,具有main函数,并且有SparkContext实例,是程序的入口 功能 向集群申请资源 负责作业的调度和解析 生成Stage并调度Task到E
相关文章
相关标签/搜索