55、Spark性能优化之提高并行度

提高并行度原理.png spark-submit里，配置了两个Executor，每个Executor，有5个cpu core val conf = new SparkConf().setAppName("WordCount").set("spark.default.parallelism", "5") 这个参数一旦设置了，也就是，所有的RDD的partition都被设置成了5个，也就是说每个RDD

>>阅读原文<<