葵花宝典--Spark内核和优化

一、Spark内核 1、内核概述 Driver:将用户程序转换为job、在executor之间进行调度、跟踪executor的运行情况、通过UI展示运行情况 Executor:运行spark任务并返回结果,通过自身BlockManager为RDD提供存储和,并且加快RDD的计算 通用运行流程 2、部署模式 Standalone模式 Driver:是一个进程,我们编写的Spark应用程序就运行在Dr
相关文章
相关标签/搜索