Spark Sql执行原理介绍

Spark SQL整体架构 从上图可见，无论是直接使用 SQL 语句还是使用 DataFrame，都会经过如下步骤转换成 DAG 对 RDD 的操作 1） Parser 解析 SQL，生成 Unresolved Logical Plan 在Unresolved Logical Plan中，不知道涉及表是什么类型，数据存在何处，表的结构是什么； 这一步主要完成词法和语法解析，生成解析树 2）由 An

>>阅读原文<<