Catalyst揭秘 Day6 Physical plan解析
Catalyst揭秘 Day6
Physical plan解析
物理计划是Spark和Sparksql相对比而言的，由于SparkSql是在Spark core上的一个抽象，物理化就是变成RDD，是SparkSql和Spark core之间的衔接点。sql
Physical Plan也是Catalyst变成Spark做业的最后一个阶段。大数据
生成SparkPlan
从代码，咱们能够看到SparkPlan的生成包含了两个步骤，首先会调用SparkPlanner的plan方法，生成SparkPlan，调用prepareForExecution的execute方法，再进行一次加工。
ui
SparkPlanner继承自SparkStrategies，strategies是精髓。spa
其执行在下面的plan方法，全部的strategies应用在plan上获得的physicalPlan，这个方法返回一个Iterator。继承
修正SparkPlan
而在prepareForExecution中，咱们看到只是定了两个规则，主要是执行计划进行修正。
其中EnsureRequirements主要针对shuffle操做，确保先后的plan分区数兼容。ip
执行SparkPlan
这些操做都是逻辑级别的，sparkplan最终都是调用execute方法生成RDD。rem
欲知后事如何，且听下回分解!
DT大数据天天晚上20：00YY频道现场授课频道68917580spark
相关文章
- 1. Spark SQL Catalyst源码分析之Physical Plan
- 2. Catalyst揭秘 Day5 optimizer解析
- 3. Catalyst揭秘 Day8 Final
- 4. 50：Spark中的新解析引擎Catalyst源码Physical Plan完全详解
- 5. Catalyst揭秘 Day7 SQL转为RDD的具体实现
- 6. Pig系统分析(5)-从Logical Plan到Physical Plan
- 7. Spark SQL 源码分析之Physical Plan 到 RDD的具体实现
- 8. SparkSQL之catalyst
- 9. SparkSQL – Catalyst
- 10. 解决方法：FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.
- 更多相关文章...
- • XML DOM 解析器 - XML DOM 教程
- • TCP报文格式解析 - TCP/IP教程
- • 互联网组织的未来：剖析GitHub员工的任性之源
- • Scala 中文乱码解决
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Spark SQL Catalyst源码分析之Physical Plan
- 2. Catalyst揭秘 Day5 optimizer解析
- 3. Catalyst揭秘 Day8 Final
- 4. 50：Spark中的新解析引擎Catalyst源码Physical Plan完全详解
- 5. Catalyst揭秘 Day7 SQL转为RDD的具体实现
- 6. Pig系统分析(5)-从Logical Plan到Physical Plan
- 7. Spark SQL 源码分析之Physical Plan 到 RDD的具体实现
- 8. SparkSQL之catalyst
- 9. SparkSQL – Catalyst
- 10. 解决方法：FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.