Spark-任务执行流程

目录 Application在集群中运行的大概流程 Application提交的方式 Application提交的集群 Application在集群中运行的大概流程 流程:node 1.Driver分发task到数据所在的节点上运行。 计算找数据,减小网络IO 2.每个任务的执行结果拉回到Driver进程中 这种操做很危险,容易致使Driver端OOM。能够经过代码控制是否将计算结果拉回到Dr
相关文章
相关标签/搜索