spark shuffle的调优（各种参数的设计）

Shuffle 调优         1).             spark.shuffle.file.buffer 32k             spark.reducer.maxSizeInFlight 48M             spark.shuffle.io.maxRetries 3             spark.shuffle.io.retryWait 5s      

>>阅读原文<<