spark 大型项目实战(二十八): --性能调优之在实际项目中重构RDD架构以及RDD持久化

第一，RDD架构重构与优化 尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。 第二，公共RDD一定要实现持久化 北方吃饺子，现包现煮。你人来了，要点一盘饺子。馅料+饺子皮+水->包好的饺子，对包好的饺子去煮，煮开了以后，才有你需要的熟的，热腾腾的饺子。 现实生活中，饺子现包现煮，当然是最好的了；但是Spark中，RDD要去“现包现煮”，那就是一场致命

>>阅读原文<<