Spark架构与工作机制

Spark架构与工作机制 Spark的架构 — 架构组件概念简介 Spark集群中Master负责集群整体资源管理和调度，Worker负责单个节点的资源管理。Driver程序是应用逻辑执行的起点，而多个Executor用来对数据进行并行处理。   Spark的构成: ClusterManager : 在standalone模式中即为，Master ：主节点，控制整个集群，监控Worker。在YAR

>>阅读原文<<