SparkSQL自适应执行

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能。 解决哪些问题 SparkSQL自适应执行解决以下问题: shuffle partition个数 目前SparkSQL中reduce阶段的task个数取决于固定参数spark.sql.shuffle.partition(默认值200)，一个作业一旦设置了该参数，它运行过程中的所有阶段的reduce个数都是同一个值。 而对于不同的作

>>阅读原文<<