Spark存储模式的工作原理详解

Spark存储模式使用了Master/Slave,RPC机制进行通信，Master负责元数据管理，Slave负责上报本地数据状态。 存储模式架构说明： 1. Executor启动时创建SparkEnv,SparkEnv创建BlockManager和数据同步的服务BlockTranferService； 2. BlockManager创建后，会创建BlockManagerMasterEndPoint

>>阅读原文<<