存储管理模块总体架构

spark 存储管理模块总体架构 从架构上看存储管理模块采用的主要从结构来实现通讯层，主节点和从节点之间传输控制信息、 状态信息。 存储层： 存储管理模块须要把数据存储到硬盘或者内存黄总，必要时还须要复制到远端 ，这些操做由存储层来实现和提供相应的接口 从功能上看存储管理模块又分为俩个主要部分： RDD缓存：整个存储管理模块主要的工做是RDD缓存，包括基于内存和磁盘的缓存 Shuffle数据持久化

>>阅读原文<<