Spark SQL系列------1. Spark SQL 物理计划的Shuffle实现

    Spark SQL物理计划要到Spark-core执行,须要将Spark SQL物理计划转化成RDD,而且创建RDD之间的依赖关系。这个过程能够经过以下图大概表示:算法 上图中绿色部分指Spark物理计划到RDD过程当中数据结构的变迁过程。黄色部分表示变迁过程当中,起加工做用的数据结构。sql 一:从SparkPlan到Exchange数据结构 优化后的Spark SQL物理计划对数据Di
相关文章
相关标签/搜索