spark 中RDD的持久化原理

spark 中RDD的持久化原理 Spark很是重要的一个功能特性就是能够将RDD持久化在内存中。当对RDD执行持久化操做时,每一个节点都会将本身操做的RDD的partition持久化到内存中,而且在以后对该RDD的反复使用中,直接使用内存缓存的partition。这样的话,对于针对一个RDD反复执行多个操做的场景,就只要对RDD计算一次便可,后面直接使用该RDD,而不须要反复计算屡次该RDD。
相关文章
相关标签/搜索