Spark Core学习笔记(三)

1、内存管理 一、RDD内存持久化 1》Spark很是重要的一个功能特性就是能够将RDD持久化在内存中。当对RDD执行持久化操做时, 每一个节点都会将本身操做的RDD中的partition持久化到内存中, 而且在以后对该RDD的反复使用中, 直接使用内存中缓存的partition数据。这样的话, 对于针对一个RDD反复执行多个操做的场景, 就 只要对RDD 计算一次便可, 后面直接使用该RDD,
相关文章
相关标签/搜索