[转]SparkSQL的自适应执行---Adaptive Execution

1 背景 本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点 执行计划可动态调整 调整的依据是中间结果的精确统计信息 2 动态设置 Shuffle Partition 2.1 Spark Shuffle 原理     如上图所示，该 Shuffle 总共有 2 个 Mapper 与 5 个 Reducer。每个 Mapp

>>阅读原文<<