Spark 性能调优

最近在学习spark，spark相对于mr来说他的dag模型和内存管理确实很大的提高了性能，但是Spark开发出高性能的大数据计算作业，并不是那么简单的。想要spark最大的发挥他的优势，需要在很多方面进行调优。 基础篇 1. 开发调优 开发调优主要就是对于算法的理解以及使用，也是最基础的部分。 1.尽可能复用同一个RDD，这样可以尽可能地减少RDD的数量，从而尽可能减少算子执行的次数 2.对多次

>>阅读原文<<