spark基础之存储原理

一 Spark存储架构 Spark的存储采用主从(Master/Slave)模式，使用RPC进行消息通信。 Master主要负责整个应用程序在运行期间block元数据的管理和维护,Slave主要负责将本地数据块的状态的汇报给Master;而且接收Master传过来的执行指令，比如获取数据块状态，删除RDD/数据块等。   在Driver端只有一个BlockManagerMaster负责管理和维护集

>>阅读原文<<