【Spark 】Spark 调优原则

Spark的调优是面试或者笔试考察的重点：总结下 ​ ​ 1.开发调优： 原则一：避免创建重复的RDD。 原则二：尽可能复用同一个RDD。 原则三：对多次使用的RDD进行持久化。 原则四：尽量避免使用shuffle类算子 。 原则五：使用map-side预聚合的shuffle操作。 原则六：使用高性能的算子 原则七：广播大变量。 原则八：使用Kryo优化序列化性能。 原则九：优化数据结构。 原则十

>>阅读原文<<