spark3.0新特性

1，动态分区裁剪 老版本： 比如上面的 SQL 查询，假设 t2 表 t2.id < 2 过滤出来的数据比较少，但是由于之前版本的 Spark 无法进行动态计算代价，所以可能会导致 t1 表扫描出大量无效的数据。有了动态分区裁减，可以在运行的时候过滤掉 t1 表无用的数据  优化后： 比如下面的查询，基于代价的模型优化不可能准确的评估 而有了 AQE 之后，Spark 就可以动态统计相关信息，并动

>>阅读原文<<