spark调优的几种方法

spark.shuffle.file.buffer 默认值是32k安全 map side task的内存buffer大小，写数据到磁盘文件以前，会先保存在缓冲中，若是内存充足，能够适当加大，从而减小map side磁盘IO次数，提高性能网络 spark.reducer.maxSizeInFlight 默认值是48mapp reduce task的buffer缓冲，表明了每一个reduce task

>>阅读原文<<