Spark 的工作流程

Spark工作流程中基本概念 Application:应用程序 Driver:表示main()函数,创建SparkContext。由SparkContext负责与ClusterManager通信,进行资源的申请,任务的分配和监控等。程序执行完毕后关闭SparkContext Executor:某个Application运行在Worker节点上的一个进程,该进程负责运行某些Task,并且负责将数据存
相关文章
相关标签/搜索