Spark 存储原理详细图解

Storage模块主要分为两层： 通信层：storage模块采用的是master-slave结构来实现通信层，master和slave之间传输控制信息、状态信息，这些都是通过通信层来实现的。 存储层：storage模块需要把数据存储到disk或是memory上面，有可能还需replicate远端，这都是由存储层来实现和提供相应接口。 Storage模块提供了统一的操作类BlockManager，外

>>阅读原文<<