Yarn详解

1、Yarn架构

Yarn架构设计也是主从架构，分为Resource Manager（RM）和Node Manager（NM），其中RM主要负责应用管理和资源调度，NM主要负责容器和做业。

一、Yarn架构介绍

 

ResourceManager（RM）：

　　负责对各个Node Manager(NM)上的资源进行统一管理和调度，将ApplicationMaster(AM)分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Application Manager）。

调度器（Scheduler）：调度器根据容量、队列等限制条件（如每一个队列分配必定的资源，最多执行必定数量的做业等），将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位是Container，从而限定每一个任务使用的资源量。Scheduler不负责监控或者跟踪应用程序的状态，也不负责任务由于各类缘由而须要的重启（由ApplicationMaster负责）。总之，调度器根据应用程序的资源要求，以及集群机器的资源状况，为用程序分配封装在Container中的资源。

应用程序管理器（Application Manager）：应用程序管理器负责管理整个系统中全部应用程序，包括应用程序提交、与调度器协商资源以启动AM、监控AM运行状态并在失败时从新启动等，跟踪分给的Container的进度、状态也是其职责。

NodeManager（NM）：

　　NM是每一个节点上的资源和任务管理器。它会定时地向RM汇报本节点上的资源使用状况和各个Container的运行状态；同时会接收并处理来自Application Master的Container启动/中止等请求。

ApplicationMaster(AM):：

　　用户提交的应用程序均包含一个AM，负责应用的监控，跟踪应用执行状态，重启失败任务等。ApplicationMaster是应用框架，它负责ResouceManager协调资源，而且与NodeManager协同工做完成Task的执行和监控。MapReduce就是原生支持的一种框架，能够在YARN上运行MapReduce做业。有不少分布式应用都开发了对应的应用程序框架，用于在YARN上运行任务，例如：Spark，Storm等。若是须要，咱们也能够本身写一个符合规范的YARN application。Container：是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源即是用Container 表示的。 YARN会为每一个任务分配一个Container且该任务只能使用该Container中描述的资源。

2、YARN经常使用命令

一、查看YARN命令

　　a、进入hadoop程序目录中的bin目录

　　b、查看yarn全部命令

　　yarn

二、查看正在运行的任务

　　hadoop/bin]$yarn application -list

　　PS：application_1528463812366_0001，查询的数字1528463812366表明long型下的时间数值

三、杀掉正在运行的任务

　　yarn application -kill 任务id

　　例：yarn application -kill application_1528463812366_0001

3、YARN三种调度器

　　在YARN中，负责应用资源分配的是Schedule（调度器），对于调度，其自己就是一个难题。在YARN中提供了三种能够选择的调度器：

　　FIFO Schedule

　　Capacity Schedule

　　FairSchedule

　　其对比图以下所示：

FIFO Scheduler：可称为队列调度器，简单的理解就是所提交 的job一个一个完成。

Capacity Scheduler（默认）：简单理解就是会额外空出一部分资源，专门用于完成一些小的Job,可是若没有相关任务，则这个资源就会一直占有，容易形成资源浪费。

Fair Scheduler：通常状况下，调度器选择这种调度方式，简单理解就是我一个JOB占用所有资源工做，如有小的JOB进来，就释放必定的资源去完成小Job，小Job完成后，大Job继续占用，通常不会产生资源浪费。（ps:小Job提交后须要等待必定时间，等待大Job释放资源）。

4、YARN执行流程

一、用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster命令、用户程序等
二、resourceManager为该应用程序分配第一个container，并与对应的nodeManager通讯，要求它在这个container中启动应用程序的ApplicationMaster
三、ApplicationMaster首先向ResourceManager注册，这样用户能够直接经过ResourceManager查看应用程序的运行状态，而后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复4~7
四、ApplicationMaster采用轮询的方式经过RPC协议向resourceManager申请和领取资源
五、一旦ApplicationMaster申请到资源后，便与对应的Nodemanager通讯，要求它启动任务。
六、NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后，将任务启动命令写到一个脚本中，并经过运行该脚本启动任务
七、各个任务经过某个RPC协议向ApplicationMaster汇报本身的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而能够在任务失败时从新启动任务。在应用程序运行过程当中，用户可随时经过RPC向ApplicationMaster查询应用程序的当前运行状态
八、应用程序运行完成后，ApplicationMaster向resourceManager注销并关闭本身

5、YARN三种调度策略比较

一、FIFOScheduler

FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求知足后再给下一个分配，以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器，也不须要任何配置，但它并不适用于共享集群。大的应用可能会占用全部集群资源，这就致使其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都容许大任务和小任务在提交的同时得到必定的系统资源。

缺点：

　　耗时长的任务会致使后提交的一直处于等待状态，资源利用率不高；当集群多人共享，显然不合理，不适合共享集群，共享集群更适合采用Capacity Scheduler或Fair Scheduler

二、CapacityScheduler

对于Capacity调度器，有一个专门的队列用来运行小任务，可是为小任务专门设置一个队列会预先占用必定的集群资源，这就致使大任务的执行时间会落后于使用FIFO调度器时的时间。

三、Fair Scheduler

在Fair调度器中，咱们不须要预先占用必定的系统资源，Fair调度器会为全部运行的job动态的调整系统资源。当第一个大job提交时，只有这一个job在运行，此时它得到了全部集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务（好比当前集群只有一个任务A，那么A拥有整个集群资源，这时候又提交了一个任务B，这时候任务A和B平分资源），让这两个任务公平的共享集群资源。须要注意的是，在Fair调度器中，从第二个任务提交到得到资源会有必定的延迟，由于它须要等待第一个任务释放占用的Container。小任务执行完成以后也会释放本身占用的资源，大任务又得到了所有的系统资源。最终的效果就是Fair调度器即获得了高的资源利用率又能保证小任务及时完成。