Spark性能优化五之提高并行度

设置合理的并行度，来充分地利用集群的资源 使用spark.default.parallelism参数，来设置统一的并行度。Spark官方的推荐是，给集群中的每个cpu core设置2~3个task。 比如说，spark-submit设置了executor数量是10个，每个executor要求分配2个core，那么application总共会有20个core。此时可以设置new SparkConf(

>>阅读原文<<