Spark的重要组件和基本工做流程

Spark的几大组件:Driver,Master,Worker, Executor ,Task 基本工做流程为:Driver向Master节点提交咱们编写的Spark程序进行应用的注册,而且对集群进行监控。 Master在接收到程序注册后,会发送请求给Worker进行资源的调度和分配,即要求worker启动相应的Executor,资源分配即Executor的分配。 Woker主要任务是用本身的内存
相关文章
相关标签/搜索