Spark计算引擎原理

1、Spark内部原理 ——经过RDD，建立DAG（逻辑计划） ——为DAG生成物理查询计划 ——调用并执行Task web 2、生成逻辑执行图：产生RDD 生成RDD的DAG图。 网络 3、生成逻辑执行图：RDD之间关系 依赖关系分为两类。 彻底依赖前面的partition只对应后面的一个partition，不会是多个。重点关注部分依赖（shuffle） 框架 4、生成逻辑执行图：Shuffle

>>阅读原文<<