Spark性能调优之Shuffle调优

    • shuffle过程中常出现的问题 常见问题一：reduce oom?     问题原因：        reduce task 去map端获取数据，reduce一边拉取数据一边聚合，reduce端有一块聚合内存（executor memory * 0.2）,也就是这块内存不够      解决办法：                            1.增加reduce 聚合操作的内

>>阅读原文<<