Spark集群基础概念 与 spark架构原理

一、Spark集群基础概念         将DAG划分为多个stage阶段，遵循以下原则： 1、将尽可能多的窄依赖关系的RDD划为同一个stage阶段。 2、当遇到shuffle操作，就意味着上一个stage阶段结束，下一个stage阶段开始 二、spark架构原理       1、Spark架构原理               Driver 进程                     编写的

>>阅读原文<<