Spark shuffle调优 调节map端内存缓冲

spark.shuffle.file.buffer，默认32k spark.shuffle.memoryFraction，0.2 其实，实际生产中，这两个参数可能没有那么重要，往往来说，shuffle的性能不是因为这方面原因导致的。需要配合其他性能调优一直使用 示意图 注意 只有1.5版本以前的旧内存管理模式 用以调节 spark.shuffle.memoryFraction spark.stor

>>阅读原文<<