spark.sql.shuffle.partitions 和 spark.default.parallelism 的区别

在关于spark任务并行度的设置中，有两个参数咱们会常常遇到，spark.sql.shuffle.partitions 和 spark.default.parallelism, 那么这两个参数到底有什么区别的？node 首先，让咱们来看下它们的定义web Property Name Default Meaning spark.sql.shuffle.partitions 200 Configure

>>阅读原文<<