大数据学习笔记(spark资源调度)

1、绪论 上图是Spark程序运行时的一个超级简单的概括。我们运行一个Spark应用程序时,首先第一步肯定是写一个Spark Application应用程序,然后调用资源调度器为Driver申请资源。申请成功后,向master为Application申请资源,申请完毕后,调用资源调度器把任务分发到节点执行。在各个节点进行分布式的并行计算。 2、前置知识 对于Application来说,资源是Exe
相关文章
相关标签/搜索