spark基于akka一个任务通讯的简单流程

本文介绍spark通讯的简单流程,通过本文也可以了解简单的spark任务执行流程  1.Master 启动成功后(开启线程定时检查Worker存活与否) ,启动Worker,这时候Worker与Master间进行通讯。通讯内容:向Master注册信息(包含一些自己电脑的配置情况,方便Master后续分配任务) 之后向 Master定时发送心跳包 用以报活。 2.当用户提交任务时,机器会启动driv
相关文章
相关标签/搜索