Spark 调优汇总

  ​ 阅读文本大概需要 9 分钟。   之前的两篇文章 Spark 调优一瞥 | shuffle 调优 Spark 的 数据本地化 分别讲了 shuffle 的参数调优和数据本地化的调优。 本文将从以下几个方面来介绍一下 Spark 的调优。 资源调优 并行度调优 代码调优 数据本地化 内存调优 shuffle 参数 堆外内存 数据倾斜 （内容较多, 下篇文章见）   资源调优   在部署集群的

>>阅读原文<<