Spark代码在集群上执行过程理解

spark代码是如何在集群上执行的？ 总体上可以概述为4步： 写DataFrame/Dataset/SQL 代码（通过console或spark-submit提交代码） 如果代码有效，Spark将此转成逻辑计划(Logical Plan) Spark对计划中的一系列transform操作进行优化，并将逻辑计划转成物理计划(Physical Plan) Spark在集群上执行(基于RDD操作的)物理

>>阅读原文<<