Spark---Shuffle调优之调节map端内存缓冲与reduce端内存占比

一、map端内存缓冲，reduce端内存占比概述app map端内存缓冲，reduce端内存占比；不少资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，颇有效果的样子，实际上，不是这样的。jvm 以实际的生产经验来讲，这两个参数没有那么重要，每每来讲，shuffle的性能不是由于这方面的缘由致使的 可是，有一点点效果的，broadcast，数据本地化等待时长；这两个shuff

>>阅读原文<<