Spark性能调优----代码方面的优化

  Spark性能调优之代码方面的优化 1.避免创建重复的RDD     对性能没有问题，但会造成代码混乱   2.尽可能复用同一个RDD，减少产生RDD的个数   3.对多次使用的RDD进行持久化（cache,persist,checkpoint） 如何选择一种最合适的持久化策略？      默认MEMORY_ONLY, 性能很高， 而且不需要复制一份数据的副本，远程传送到其他节点上（Block

>>阅读原文<<