spark学习-BlockManager原理

BlockManager原理：网络 1.Driver上有BlockManagerMaster，负责对各个节点上的BlockManager内部管理的元数据进行维护。内存 2.每一个节点的BlockManager有几个关键组件，DiskStore负责对磁盘上的数据进行读写，MemoryStore负责对内存中的数据进行读写，ConnectionManager负责创建BlockManager到远程其余节点

>>阅读原文<<