Spark源码-部署流程

Spark的部署流程 1.一些特殊的类 Backend 后台 rpcEnv:首先IPC是完成在同一节点上两个进程间的交互,RPC就是完成两个终端间的进程交互 amEndpoint:终端 RpcEndpointAddress:RPC终端地址 2.spark的框架图 3.源码流程 上图在新版的spark源码中有些许调整,但只是一些参数和函数位置的调整,整体流程还是这样的。 接下来进入client部分
相关文章
相关标签/搜索