spark调优-开发调优

开发调优方式： （1）避免重复的RDD （2）尽可能多的复用一个RDD （3）对多次使用的RDD进行持久化 （4）尽量避免使用shuffle类的算子 （5）使用map-side预聚合的shuffle操作（combine） （6）使用高性能的算子 （7）使用广播变量 （8）使用spark自带的Kryo序列化 （9）数据结构的调优:字符串、对象、集合类型 （1）避免重复的RDD 案例： val rdd

>>阅读原文<<