Spark源码分析之Rpc框架

文章目录 概述 基本概念 组件原理 Message消息 通信架构 SparkEnv的初始化 RpcEnv Rpc服务端的启动流程 Rpc服务端处理请求流程 Rpc客户端发送请求流程 Rpc请求回调处理流程 参考 概述 在Spark中很多地方都涉及网络通信,比如 Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。Spark1.6之前,
相关文章
相关标签/搜索