Spark RDD的缓存机制、CheckPoint机制(容错机制)和RDD的依赖关系

RDD的缓存机制 RDD通过cache方法或者persist方法可以将前面的计算结果缓存,但并不是立即缓存,而是在接下来调用Action类的算子的时候,该RDD将会被缓存在计算节点的内存中,并供后面使用。它既不是transformation也不是action类的算子。 注意:缓存结束后,不会产生新的RDD 缓存有可能丢失,或者存储存储于内存的数据由于内存不足而被删除,RDD的缓存容错机制保证了即使
相关文章
相关标签/搜索