Spark中Blockmanager相关代码解析

前一段时间看了如何划分stage以及如何提交Job, 最后把结果返回到Driver端的过程, 中间也涉及到了经过blockManager来获取Data等过程。 这两天花了点时间看了一下blockmanager是如何工做的, 在这里记录一下。 看了一下源代码, 这里有几个主要的对象: 1.BlockManager 2.BlockManagerMaster 3.BlockManagerMasterEn
相关文章
相关标签/搜索