Spark SQL:运行原理

Spark SQL的运行过程 SQL在Spark执行要经历如下几步：node 用户提交SQL文本 解析器将SQL文本解析成逻辑计划 分析器结合Catalog对逻辑计划作进一步分析，验证表是否存在，操做是否支持等 优化器对分析器分析的逻辑计划作进一步优化，如将过滤逻辑下推到子查询，查询改写，子查询共用等 Planner再将优化后的逻辑计划根据预先设定的映射逻辑转换为物理执行计划 物理执行计划作RDD

>>阅读原文<<