Apache Hadoop YARN

YARN是作什么的

YARN在Hadoop中的功能做用有两个，第一是负责Hadoop集群中的资源管理(resource management)，第二是负责对任务进行调度和监控(scheduling/monitoring)。YARN分别提供了相应的组件完成这两项工做。

如何管理资源

YARN在管理资源上采用的是master/slave架构。在整个YARN集群中，在其中一个节点上运行ResourceManager进程做为master，其他每一个节点上都运行一个NodeManager进程做为slave。
ResourceManager负责对集群中的全部资源进行统一的管理和调度。NodeManager进程负责单个节点上的资源管理，它监控一个节点上的资源使用状况(如cpu，内存，硬盘，网络等)并将其report给ResourceManager。
ResourceManager有两个主要的组件：Scheduler和ApplicationsManager。
其中的Scheduler就负责为集群中运行的各个application分配所须要的资源。Scheduler只负责资源的调度，它不作任何对application监控或跟踪的工做，此外，在任务因为各类缘由执行失败时，它也不负责对任务进行重启。
Scheduler根据application对资源的需求执行其资源调度功能。它将cpu、内存、硬盘、网络等资源合并成一个总体，抽象成Container进行资源分配。Container就是Scheduler进行资源分配的一个单位，也是运行各个任务的容器。
此外，Scheduler是一个可插拔的组件，用户可根据本身的须要设计新的Scheduler，YARN提供了多种可直接使用的调度器，好比Fair Scheduler和Capacity Scheduler等。

如何调度/监控任务

ApplicationMaster组件负责跟踪和管理一次提交的做业(job)，它负责为job的运行向ResourceManager中的Scheduler组件申请资源，并经过NodeManger启动和监控这个job的全部task。
当向ResourceManager提交一个job时，必须为其指定一个ApplicationMaster组件。ResourceManager中的ApplicationsManager组件会对全部job的ApplicationMaster进行管理，它首先会为ApplicationMaster组件分配资源，使其运行在一个slave节点的Container中。并负责监控ApplicationMaster的运行状态，在Container出现异常时对ApplicationMaster进行重启。
ApplicationsManager负责管理整个集群中的全部job，包括job的提交、与Scheduler协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时从新启动它等。

YARN架构

上面咱们已经介绍了YARN中的所有组件的做用，如今咱们详细说一下YARN的架构。
先看图中的Node Statue线，这条线展示了YARN集群的master/slave架构。ResourceManager是集群中的master节点，做为老大统一管理集群中的全部资源分配。集群中能够存在多个NodeManager节点，NodeManager负责其所在机器上的资源管理，并将资源使用状况report给ResourceManager节点。
Container是YARN中的资源抽象，它封装了一个节点上的多维度资源，如内存、CPU、磁盘、网络等。从图中能够看到，一个NodeManager节点上同时存在多个Container。提交做业的每一个task都运行在一个Container中。
再看MapReduce Status和Resource Request这两条线，它展示了ApplicationMaster的做用。首先，对于每一个提交的做业都必需要有一个ApplicationMaster(如这里的两个做业分别对应一个ApplicationMaster)。ApplicationMaster对做业的全部任务进行跟踪监控和管理，能够看到做业下的每一个任务都将执行statue汇报给ApplicationMaster。此外，ApplicationMaster还负责向ResourceManager申请资源。
最后，Job Submission这条线展示了每次提交新的做业时，都是将任务提交给ResourceManager，由ResourceManager全局管理。常见的操做有提交一个做业、杀死一个做业等。

YARN执行流程

提交一个做业到YARN的详细执行流程以下：

1. Client向YARN提交一个job，首先向ResourceManager中的ApplicationManager申请资源，用于运行本做业的ApplicationMaster。
2. ApplicationManager给集群中的一个NodeManager发命令，通知其建立一个Container并运行做业的ApplicationMaster。
3. NodeManager建立一个Container并启动做业的ApplicationMaster。
4. ApplicationMaster将本身注册到ApplicationManager，使得ApplicationManager能够监控到Job的执行状态，Client也能够经过ApplicationManager对做业进行控制。
5. Scheduler将资源分配信息发给ApplicationMaster。
6. ApplicationMaster将获取到的资源分配信息发送给各个NodeManager。
7. 各个NodeManager接收到资源分配命令，建立Container并启动对应的task。
8. 各个task直接与ApplicationMaster进行通讯，汇报心跳和任务执行进度。
9. 全部的Task都执行完毕，将讲过反馈给ApplicationMaster。ApplicationMaster再将任务执行的结果反馈ApplicationManager。