SparkSQL自适应执行优化引擎

Spark SQL 自适应执行优化引擎 背景 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点 执行计划可动态调整 调整的依据是中间结果的精确统计信息 spark 2.3 开始试验功能 spark 3.0 正式发布 自适应查询执行（Adaptive Query Execution） 现状与挑战 如何设置合适的shuffle par

>>阅读原文<<