Spark 性能调优之 repartition解决spark sql低并行度问题

首先，仍是抛出官网调优文档吧 参考2.0版本 http://spark.apache.org/docs/2.0.2/tuning.html#level-of-parallelismhtml 所以 按照这个说明 根据你的application的总cpu core数量（在spark-submit中能够指定，200个），本身手动设置spark.default.parallelism参数，指定为cpu c

>>阅读原文<<