3. Spark任务执行原理

Spark任务执行原理 以上图中有四个机器节点，Driver和Worker是启动在节点上的进程，运行在JVM中的进程。 Driver与集群节点之间有频繁的通信。 Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom。 Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程。 Master是Standal

>>阅读原文<<