Spark on Yarn做业运行架构原理解析

[TOC]

---

0 前言

能够先参考以前写的《Yarn流程、Yarn与MapReduce 1相比》，以后再参考《Spark做业运行架构原理解析》，而后再阅读下面的内容，就很容易理解了。

下面内容参考：http://www.javashuo.com/article/p-qggvktvd-eo.html

1 Client模式

说明以下：

• Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将建立DAGScheduler和TASKScheduler等，因为咱们选择的是Yarn-Client模式，程序会选择YarnClientClusterScheduler和YarnClientSchedulerBackend；
• ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext，只与SparkContext进行联系进行资源的分派；
• Client中的SparkContext初始化完毕后，与ApplicationMaster创建通信，向ResourceManager注册，根据任务信息向ResourceManager申请资源（Container）；
• 一旦ApplicationMaster申请到资源（也就是Container）后，便与对应的NodeManager通讯，要求它在得到的Container中启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向Client中的SparkContext注册并申请Task；
• client中的SparkContext分配Task给CoarseGrainedExecutorBackend执行，CoarseGrainedExecutorBackend运行Task并向Driver汇报运行的状态和进度，以让Client随时掌握各个任务的运行状态，从而能够在任务失败时从新启动任务；
• 应用程序运行完成后，Client的SparkContext向ResourceManager申请注销并关闭本身；

2 Cluster模式

在YARN-Cluster模式中，当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：

• 1.第一个阶段是把Spark的Driver做为一个ApplicationMaster在YARN集群中先启动；

• 2.第二个阶段是由ApplicationMaster建立应用程序，而后为它向ResourceManager申请资源，并启动Executor来运行Task，同时监控它的整个运行过程，直到运行完成

说明以下：

• Spark Yarn Client向YARN中提交应用程序，包括ApplicationMaster程序、启动ApplicationMaster的命令、须要在Executor中运行的程序等；
• ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，其中ApplicationMaster进行SparkContext等的初始化；
• ApplicationMaster向ResourceManager注册，这样用户能够直接经过ResourceManage查看应用程序的运行状态，而后它将采用轮询的方式经过RPC协议为各个任务申请资源，并监控它们的运行状态直到运行结束；
• 一旦ApplicationMaster申请到资源（也就是Container）后，便与对应的NodeManager通讯，要求它在得到的Container中启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式同样，只不过SparkContext在Spark Application中初始化时，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler进行任务的调度，其中YarnClusterScheduler只是对TaskSchedulerImpl的一个简单包装，增长了对Executor的等待逻辑等；
• ApplicationMaster中的SparkContext分配Task给CoarseGrainedExecutorBackend执行，CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而能够在任务失败时从新启动任务；
• 应用程序运行完成后，ApplicationMaster向ResourceManager申请注销并关闭本身；

3 Client模式 vs Cluster模式

• 理解YARN-Client和YARN-Cluster深层次的区别以前先清楚一个概念：Application Master。在YARN中，每一个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源以后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别；
• YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督做业的运行情况。当用户提交了做业以后，就能够关掉Client，做业会继续在YARN上运行，于是YARN-Cluster模式不适合运行交互类型的做业；
• YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通讯来调度他们工做，也就是说Client不能离开；

xpleaf Note：由于在Spark做业运行过程当中，通常状况下会有大量数据在Driver和集群中进行交互，因此若是是基于yarn-client的模式，则会在程序运行过程当中产生大量的网络数据传输，形成网卡流量激增；而基于yarn-cluster这种模式，由于driver自己就在集群内部，因此数据的传输也是在集群内部来完成，那么网络传输压力相对要小；因此在企业生产环境下多使用yarn-cluster这种模式，测试多用yarn-client这种模式。可是带来一个问题，就是不方便监控日志，yarn-cluster这种模式要想监控日志，必需要到每一台机器上面去查看，但这都不是问题，由于咱们有sparkUI，同时也有各类各样的日志监控组件（能够参考前面写的关于Spark日志监控的文章）。