Spark基本工做流程及YARN cluster模式原理(读书笔记)

Spark基本工做流程及YARN cluster模式原理

---

转载请注明出处：http://www.cnblogs.com/BYRans/

Spark基本工做流程

相关术语解释

Spark应用程序相关的几个术语：

• Worker：集群中任何能够运行Application代码的节点，相似于YARN中的NodeManager节点。在Spark on Yarn模式中指的就是NodeManager节点；
• Executor：Application运行在Worker 节点上的一个进程，该进程负责运行Task，而且负责将数据存在内存或者磁盘上，每一个Application都有各自独立的一批Executor。
• SparkContext：由用户程序启动，经过资源调度模块与Executor通讯。
• Driver：运行Application的main()函数，并建立SparkContext。其中建立SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通讯，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。一般用SparkContext表明Drive；

基本运行流程

Spark应用程序有多种运行模式。SparkContext和Executor这两部分的核心代码实如今各类运行模式中都是公用的，在这两部分之上，根据运行部署模式（例如：Local[N]、Yarn cluster等）的不一样，有不一样的调度模块以及对应的适配代码。

具体来讲，以SparkContext为程序运行的总入口，在SparkContext的初始化过程当中，Spark会分别建立DAGScheduler做业和TaskScheduler任务调度两级调度模块。

其中做业调度模块是基于任务阶段的高层调度模块，它为每一个Spark做业计算具备依赖关系的多个调度阶段（一般根据shuffle来划分），而后为每一个阶段构建出一组具体的任务（一般会考虑数据的本地性等），而后以TaskSets（任务组）的形式提交给任务调度模块来具体执行。而任务调度模块则负责具体启动任务、监控和汇报任务运行状况。

详细的运行流程为：

1. 构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（能够是Standalone、Mesos或YARN）注册并申请运行Executor资源；
2. 资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行状况将随着心跳发送到资源管理器上；
3. SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
4. Task在Executor上运行，运行完毕释放全部资源。

做业调度模块和具体的部署运行模式无关，在各类运行模式下逻辑相同。不一样运行模式的区别主要体如今任务调度模块。不一样的部署和运行模式，根据底层资源调度方式的不一样，各自实现了本身特定的任务调度模块，用来将任务实际调度给对应的计算资源。接下来重点介绍下YARN cluster模式的实现原理和实现细节。

YARN cluster运行模式的内部实现原理

Spark有多种运行模式，在这里主要介绍下YARN cluster模式的内部实现原理。以下图是YARN cluster模式的原理框图，相对于其余模式，该模式比较特殊的是它须要由外部程序辅助启动APP。用户的应用程序经过辅助的YARN Client类启动。YARN cluster模式和YARN client模式的区别在于：YARN client模式的AM是运行在提交任务的节点，而YARN cluster模式的AM是由YARN在集群中选取一个节点运行，不必定是在提交任务的节点运行。例如spark-shell若是须要使用YARN模式运行，只能为yarn-client模式，启动命令可使用spark-shell --master yarn-client。

Client类经过YARN Client API提交请求，在Hadoop集群上启动一个Spark ApplicationMaster，Spark ApplicationMaster首先注册本身为一个YARN ApplicationMaster，以后启动用户程序，SparkContext在用户程序中初始化时，使用CoarseGrainedSchedulerBackend配合YARNClusterScheduler，YARNClusterScheduler只是对TaskSchedulerImpl的一个简单包装，增长了对Executor的等待逻辑等。

根据Client类传递的参数，Spark ApplicationMaster经过YARN ResourceManager/NodeManager的接口在集群中启动若干个Container，用于运行CoarseGrainedExecutorBackend.CoarseGrainedExecutorBackend在启动过程当中会向CoarseGrainedSchedulerBackend注册。

CoarseGrainedSchedulerBackend是一个基于Akka Actor实现的粗粒度的资源调度类，在整个Spark做业运行期间，CoarseGrainedSchedulerBackend主要负责以下功能：

• 监听并持有注册给它的Executor资源
• 根据现有的Executor资源，进行Executor的注册、状态更新、相应Scheduler的请求等任务的调度

模式的实现细节

Spark的各类运行模式虽然在启动方式、运行为之、调度手段上有所不一样，但它们所要完成的任务基本是一致的，就是在合适的位置安全可靠的根据用户的配置和做业的须要管理和运行任务，在运行调度过程当中须要考虑的问题主要为：

• 环境变量的传递
• JAR包和各类依赖文件的分发
• 任务的管理和序列化等
• 用户参数配置
• 用户及权限控制

环境变量的传递

Spark的运行参数有很大一部分是经过环境变量来设置的，例如Executor的内存设置、Library路径等。在Cluster模式下就涉及到环境变量在各个Worker节点的传递问题。不一样的运行模式有不一样的传递方式。须要指出的是，在Local模式下，不存在环境变量的传递问题。

在这里主要说明一下再YARN相关模式下的参数传递。在YARN相关模式中，这些环境变量首先要经过YARN client设置到Spark AM的运行环境中，以后Spark AM在启动Executor时再将环境变量设置到Executor中。

JAR包和依赖文件的分发

Spark程序的运行主要有两类依赖：

• Spark运行库及其依赖
• 应用程序自身的额外依赖

在Local模式下，不存在JAR包分发的问题。在这里主要介绍下YARN模式下的文件分发。

在YARN相关模式中，运行库和程序运行因此来的其余文件首先经过HDFS客户端API上传到做业的.sparkStaing目录下，而后将对应的文件和URL映射关系通知YARN，YARN的Node Manager在启动Container的时候会从指定URL处下载相关文件做为运行环境的一部分。

对于须要进一步分发到Executor运行环境的文件，Spark YARN客户端将须要分发的文件的相关属性（例：URL、时间戳、尺寸等）打包成字符串，经过特定的环境变量（SPARK_YARN_CACHE_XXXX）传递给Spark AM，Spark AM在建立Executor的Container时还原特定环境变中的各个文件，并经过调用setLocalResources函数初始化Container。

任务管理和序列化

Spark任务的运行要解决的问题为：

• 以正确的顺序运行任务，有效地管理和分派任务
• 将任务及运行所需相关数据有效地发送到远端
• 收集运行结果

Spark任务经过DAGScheduler调用TaskScheduler.submitTasks进行派发，该接口将相关的一组任务一块儿提交并进行调度。

任务的运行结果在Executor端被序列化并发送回SchedulerBackend，因为受到Akka帧尺寸的限制，若是运行结果数据过大，结果会存储到BlockManager中，这时候发送到SchedulerBackend的是对应数据的BlockID，TaskScheduler最终会调用TaskResultGetter在线程池中以异步的方式读取结果，TaskSetManager再根据运行结果更新任务状态（好比失败重试等）并汇报给DAGScheduler等。