RDD实现详解

1.RDD的三大特性apache 自动容错:(基于Lineage血统,即会保存建立RDD的相关转换(算子操做))数组 位置感知性调度:为了尽可能知足数据本地性,Task调度会依次从如下位置查找是否有计算所需的数据:缓存 1)缓存,即待计算的数据RDD执行过cache()操做并发 2)Checkpoint:即待计算的数据RDD是否执行过checkpoint()操做,数据检查点保存异步 3)rdd.p
相关文章
相关标签/搜索