Spark内核解析之(3)Spark 通讯架构原理剖析

一、Spark 通信架构概述 Spark2.x 版本使用 Netty 通讯框架作为内部通讯组件。spark 基于 Netty 新的 rpc框架借鉴了 Akka 的中的设计，它是基于 Actor 模型，如下图所示： Spark 通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下： Endpoint（C

>>阅读原文<<