Spark 3.0新特性介绍

1. 自适应查询优化 这是 Databricks 和Intel 中国团队在做的项目（https://tinyurl.com/y3rjwcos），基于已完成的执行计划节点的统计数据，优化剩余的查询执行计划，它的特点是： 减少 Reducer 的数量 将 Sort Merge Join 转换为 Broadcast Hash Join 处理数据倾斜 2. 动态分区修剪 静态分区裁剪优化 动态分区裁剪优化

>>阅读原文<<