spark源码阅读笔记RDD(三)RDD的缓存原理

一、RDD的缓存(cache和persist)html spark最重要一个能力就是:在不一样的操做中把数据集缓存(cache)或存留(persist)在内存(memory)apache 中。当持久化一个RDD后,每一个节点都会把计算的分片的结果保存在内存中,以后能够对此数据集在其余action中缓存 再次使用。这使得后续的action变得迅速(一般快10x)[1].app 二、缓存的级别ide
相关文章
相关标签/搜索