RDD的持久化/缓存/容错机制/宽窄依赖/生成和划分Stage/累加器和广播变量

RDD的持久化/缓存/容错机制/宽窄依赖/生成和划分Stage/累加器和广播变量 一、RDD的持久化/缓存 Rdd数据持久化什么做用？ 一、对屡次使用的rdd进行缓存，缓存到内存，当后续频繁使用时直接在内存中读取缓存的数据，不须要从新计算。 二、将RDD结果写入硬盘（容错机制），当RDD丢失数据时，或依赖的RDD丢失数据时，可使用持久化到硬盘的数据恢复。 持久化/缓存（内存） 缓存方法 Persi

>>阅读原文<<