CacheManager原理剖析与源码分析

首先 RDD 是通过 iterator 来进行计算: CacheManager 会通过 BlockManager 从 Local 或者 Remote 获取数据直接通过 RDD 的 compute 进行计算,有可能需要考虑 checkpoint; 通过 BlockManager 首先从本地获取数据,如果获得不到数据的话会从远程获取数据 首先检查看当前的 RDD 是否进行了 CheckPoint ,如
相关文章
相关标签/搜索