72.Spark大型电商项目-算子调优之使用repartition解决Spark SQL低并行度的性能问题

目录 并行度 问题解析 解决方法 设置前 ​ 设置后 本篇文章记录算子调优之使用repartition解决Spark SQL低并行度的性能问题。 并行度 之前说过，并行度是自己可以调节，或者说是设置的。 1、spark.default.parallelism 2、textFile()，传入第二个参数，指定partition数量（比较少用） 在项目代码中，没有设置并行度，实际上，在生产环境中，是最好

>>阅读原文<<