Spark内核解析之(4)SparkContext原理分析

在 Spark 中由 SparkContext 负责与集群进行通讯、资源的申请以及任务的分配和监控等。当 Worker 节点中的 Executor 运行完毕 Task 后,Driver 同时负责将SparkContext 关闭。通常也可以使用 SparkContext 来代表驱动程序(Driver)。 下图为SparkContext 与集群交互流程图: SparkContext 是用户通往 Spa
相关文章
相关标签/搜索