hadoop架构详解二

yarn架构

ResourceManager(RM)：全局的资源管理器，负责整个系统的资源管理和分配

NodeManager(NM)：每一个节点上的资源和任务管理器，定时向RM汇报本节点上的资源使用状况和各个Container的运行状态，接收并处理来自AM的Container启动/中止等各类请求

ApplicationMaster(AM)：用户提交的每一个应用程序均包含一个AM，主要功能与RM调度器协商以获取资源，进一步分配给内部的任务，与NM通讯启动/中止任务，监控任务的运行状态

Container：是YARN中资源的抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。当AM向RM申请资源时，RM为AM返回的资源即是用Container表示的。

结合YARN架构图描述一个资源请求的流程：

NodeManager向ResourceManager注册各机器资源
客户端向ResouceManager提交做业
在worker上启动一个用以跟踪和管理这个程序的ApplicationMaster
ApplicationMaster向ResouceManager请求资源，并判断是否知足须要
ResouceManager以Container的形式将资源反馈给ApplicationMaster
Container做为资源单元保证做业隔离运行