Yarn介绍(设计理念与基本架构)

Yarn : 新的计算框架，是一个全局资源管理器，负责整个集群的资源管理和分配

 

一. Yarn产生背景

 

    Hadoop1.0MR有局限性,归纳为如下几个方面 : 

1. 扩展性差
2. 可靠性差
3. 资源利用率低
4. 没法支持多种计算框架

    

    为克服Hadoop1.0中MR存在各类问题而提出了Yarn,它将JobTracker中的资源管理和做业控制功能分开,分别由组件ResourceManager和ApplicationMaster实现,其中,ResourceManager负责全部应用程序的资源分配,而ApplicationMaster仅负责管理一个应用程序,进而诞生了全新的通用资源管理框架 - Yarn

 

二. Yarn基本架构

 

    基本架构

 

    Yarn是资源管理系统,它的基本设计思想是将Hadoop1.0MR中的JobTracker拆分红两个独立的服务 : 一个全局资源管理器ResourceManager和每一个应用程序特有的ApplicationMaster

 

    Yarn整体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度.当用户提交一个应用程序时,须要提供一个用以跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManager启动能够占用必定资源的任务

 

                                                                                　　　　　　　　  Apache Yarn的基本架构

 

    组件构成

 

    1）调度器：

    它仅仅是一个单纯的“调度器”，不参与 集群的其余任何操做，负责给各个应用程序的资源进行分配，基本分配单位是一个资源抽象概念“Container”，Container封装了内存和CPU。

    2）应用程序管理器（ApplicationMaster）（AM）

    应用程序管理器负责整个系统中的全部应用程序，包括：应用程序的提交、与调度器协商资源已启动ApplicationMaster进程，监控ApplicationMaster运行状态并在失败时从新启动它等

    3）Container

    Container是YARN的资源抽象，Container封装了某个节点内存和CPU，当AM向RM申请资源时，RM为AM 返回的资源用Container表示。负责对各个应用程序的资源进行分配

    4）NodeManager（NM）

    是每个节点的资源和任务管理器，1会定时向RM汇报它所在节点的资源使用状况和Container的运行状态；2能够处理来自AM发送的Container的启动/中止等等命令

    5）ResourceManager（RM）

    全局资源管理器，负责整个集群集群的资源管理与分配， RM做为整个集群的资源管理与分配的角色，若是出现单点故障（单个节点宕掉），Hadoop2.4.0版本以前，没法在进行资源管理与分配，Hadoop2.4.0版本出现以后有了HA（高可用），能够增长RM的可用性（出现单点故障不影响RM运行）

 

    通讯协议

 

    Yarn的通讯协议 - RPC协议,RPC协议是链接各个组件的,在Yarn中,任何两个需相互通讯的组件之间仅有一个RPC协议,而对于任何一个RPC协议,通讯双方有一端是Client,有一端为Server,且Client老是主动链接Server的,所以,Yarn实际上采用的拉式(pull-based)通讯模型

 

                                                                                              Yarn的RPC协议

 

 

    Yarn主要由如下几个RPC协议组成 :

• JobClient ---> RM(ApplicationClientProtocol) : JobClient经过该RPC协议提交应用程序,查询应用程序状态等
• Admin ---> RM(ResourceManagerAdministrationProtocol) : Admin经过该协议更新系统配置文件,好比节点黑白名单,用户队列权限等
• AM ---> RM(ApplicationMasterProtocol) : AM经过该RPC协议向RM注册和撤销本身,并为各个任务申请资源
• AM ---> NM(ContainerManagementProtocol) : AM经过该RPC要求NM启动或者中止Container,获取各个Container的使用状态等信息
• NM ---> RM(ResourceTracker) : NM经过该RPC协议向RM注册,并定时发送心跳信息会报当前节点的资源使用状况和Container运行状况

 

    任务执行流程

 

    1    用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等

    2    ResourceManager为该应用程序分配第一个Container（这里能够理解为一种资源好比内存），并与对应的Node-Manager通讯，要求它在这个Container中启动应用程序的ApplicationMaster。

    3    ApplicationMaster首先向ResourceManager注册，这样用户能够直接经过ResourceManage查看应用程序的运行状态，而后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。

    4    ApplicationMaster采用轮询的方式经过RPC协议向ResourceManager申请和领取资源。

    5    一旦ApplicationMaster申请到资源后，便与对应的NodeManager通讯，要求它启动任务。

    6    NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并经过运行该脚本启动任务。

    7    各个任务经过某个RPC协议向ApplicationMaster汇报本身的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而能够在任务失败时从新启动任务。在应用程序运行过程当中，用户可随时经过RPC向ApplicationMaster查询应用程序的当前运行状态。

    8    应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭本身

 

    三. 多角度理解Yarn

 

    并行编程

    

        单机程序设计,为了快速处理一个大的数据集,一般采用多线程并行编程,有操做系统启动主线程,由它切分数据,任务分配,子线程启动和销毁等工做,而各个子线程只负责计算本身的数据,当全部子线程处理完数据后,主线程退出

 

        类比,Yarn上的应用程序运行过程与之相近,只不过他是集群上的分布式并行编程.Yarn为应用程序启动AppMaster(至关主线程),而后由AppMaster负责数据切分,任务分配,启动和监控等工做,而AppMaster启动的每一个Task(至关于子线程)仅负责本身的计算任务.当计算完成,AppMaster认为运行完成,退出

 

    资源管理

 

    资源管理系统的主要功能是对集群中各种资源进行抽象,并根据各类应用程序或者服务的要求,按照必定的调度策略,将资源分配给他们使用,同时需采用必定的资源隔离机制防止应用程序或者服务之间因资源抢占而相互干扰

 

    云计算

 

    广泛认为,云计算包括如下几个层次的服务 : 

• IaaS : 基础设施即服务
• PaaS : 平台即服务
• SaaS : 软件即服务

 

    从云计算分层概念上讲,Yarn可看作PaaS层,它能为不用类型的应用程序提供统一的管理和调度

 

我天天会写文章记录大数据技术从入门到精通,能够关注个人公众号"SmallBird技术分享",咱们一块儿学习分享,而且回复'分享'会有大数据资源惊喜等着你~