spark性能调优——开发调优

开发调优 目录 开发调优 概述 原则一：避免创建重复的RDD 一个简单的例子 原则二：尽可能复用同一个RDD 一个简单的例子 原则三：对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四：尽量避免使用shuffle类算子 Broadcast与map进行join代码示例 原则五：使用map-side预聚合的shuffle

>>阅读原文<<