Spark核心编程-RDD持久化详解

一、不使用RDD持久化 二、使用RDD持久化 三、持久化对于性能调优的原则 尽量去复用RDD,差不多的RDD,可以抽取称为一个共同的RDD,供后面的RDD计算时,反复使用。 公共RDD一定要实现持久化,对于要多次计算和使用的公共RDD,一定要进行持久化。 持久化,也就是说,将RDD的数据缓存到内存中/磁盘中,以后无论对这个RDD做多少次计算,都是直接取这个RDD的持久化的数据,比如从内存中或者磁盘
相关文章
相关标签/搜索