Spark任务执行原理

首先，先看一幅图 以上图中有四个机器节点，Driver 和 Worker 是启动在服务器节点上的进程，这些进程都运行在 JVM 中。 上述图的运行步骤： Driver 与集群节点之间有频繁的通信。 Driver 负责任务(tasks)的分发和结果的回收、任务的调度。如果 task的计算结果非常大就不要回收了，会造成 OOM(内存溢出)。 Worker 是 Standalone 资源调度框架里面资源

>>阅读原文<<