RDD持久化原理与共享变量

RDD 持久化工做原理 Spark很是重要的一个功能特性就是能够将RDD 持久化在内存中,当对RDD执行持久化操做时,每一个节点都会将本身操做的RDD的partition持久化到内存中,而且在以后对该RDD的反复使用中,直接使用内存缓存的partition,这样的话,对于针对一个RDD反复执行多个操做的场景,就只要对RDD计算一次便可,后面直接使用该RDD ,而不须要计算屡次该RDD 巧妙使用RD
相关文章
相关标签/搜索