Hadoop YARN最近几个新特性

本文介绍Hadoop YARN最近版本中增长的几个很是有用的特性，包括：

（1）ResourceManager HA

在apache hadoop 2.4或者CDH5.0.0版本以后，增长了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数能够参考Cloudera的文档：ResourceManager HA配置。

须要注意的是，ResourceManager HA只完成了第一个阶段的设计，即备ResourceManager启动后，会杀死以前正在运行的Application，而后从共享存储系统中读取这些Application的元数据信息，并从新提交这些Application。启动ApplicationMaster后，剩下的容错功能就交给ApplicationMaster实现了，好比MapReduce的ApplicationMaster会不断地将完成的任务信息写到HDFS上，这样，当它重启时，能够从新读取这些日志，进而只需从新运行那些未完成的任务。ResourceManager HA第二个阶段的任务是，备ResourceManager接管主ResourceManager后，无需杀死那些正在运行的Application，让他们像任何事情没有发生同样运行下去。

（2） 磁盘容错

在apache hadoop 2.4或者CDH5.0.0版本以后，增长了几个对多磁盘很是友好地参数，这些参数容许YARN更好地使用NodeManager上的多块磁盘，相关jira为：YARN-1781，主要新增了三个参数：

yarn.nodemanager.disk-health-checker.min-healthy-disks：NodeManager上最少保证健康磁盘比例，当健康磁盘比例低于该值时，NodeManager不会再接收和启动新的Container，默认值是0.25，表示25%；

yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage：一块磁盘的最高使用率，当一块磁盘的使用率超过该值时，则认为该盘为坏盘，再也不使用该盘，默认是100，表示100%，能够适当调低；

yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb：一块磁盘最少保证剩余空间大小，当某块磁盘剩余空间低于该值时，将再也不使用该盘，默认是0，表示0MB。

（3）资源调度器

Fair Scheduler：Fair Scheduler增长了一个很是有用的新特性，容许用户在线将一个应用程序从一个队列转移到另一个队列，好比将一个重要做业从一个低优先级队列转移到高优先级队列，操做命令是：bin/yarn application -movetoqueue appID -queue targetQueueName，相关jira为：YARN-1721。

Capacity Scheduler：Capacity Scheduler中资源抢占功能通过了充分的测试，能够使用了。