Spark整体架构

一个Spark应用包括5个重要部分：驱动程序、集群管理员、worker、执行者、任务缓存 一、worker多线程 worker为Spark应用提供CPU、内存和存储资源。worker把spark应用当成分布式进程在集群节点上执行并发 二、集群管理员分布式 Spark使用集群管理员来得到执行做业所须要的集群资源。顾名思义，集群管理员管理集群中worker节点的计算资源。塔能跨应用从底层调度集群资源。

>>阅读原文<<