Spark运行架构

1 运行架构 Spark框架的核心是一个计算引擎,采用标准的master-slave的结构,图中的Driver表示master,负责整个集群的作业任务调度,Executor则是slave,负责实际执行任务 2 核心组件 2.1 Driver Spark驱动器节点,用于执行Spark任务中的main方法,负责实际代码的执行工作 简单理解就是Driver是驱使整个应用运行起来的程序 2.2 Execu
相关文章
相关标签/搜索