(RDD)Lineage 血缘关系 和 Dependence 依赖关系

1)Lineage 说明     Lineage  保存了RDD的依赖关系     如:有这样的依赖关系:A =map=> B =filter=>C             假设B的RDD某个分区挂了,就可以通过血缘关系重新计算map的函数获取回来             即:一个RDD是如何从父RDD计算过来的  2)假如某RDD的分区是通过几个分区reducebykey算出来的,这时候得几个一
相关文章
相关标签/搜索