Spark任务执行原理

在以上图中有四个机器节点，Driver和Worker是启动在节点上的进程，运行在JVM中的进程。 1、Driver与集群节点之间有频繁的通信。 2、Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom。 3、Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程。 4、Master是Standalone

>>阅读原文<<