spark性能优化：操做优化

在大数据开发领域中，spark也成功受欢迎平台之一，我也基于spark开发过一些大数据计算做业，其中的调优过程也记录一下。web 一、对重复的RDD做缓存处理 好比一个RDD屡次使用那么应该对这个RDD做缓存处理，避免重复计算。数据库 JavaRDD txtRdd = sc.textFile("spark-biz/src/main/resources/people.txt"); JavaRDD<P

>>阅读原文<<